AI生成文本 , 又遇新对手!
凭借识别AI生成文本中的“水印” , 一种新算法能够准确判断文本到底是谁写的 。
无需访问模型参数、API , 结果置信度高达99.999999999994% 。
文章图片
方法一经发布就引来大量网友围观 。 这回拿ChatGPT“作弊” , 怕不是要更难了?
要知道 , 最近一段时间 , ChatGPT先是成为美国高中生的写作业利器 , 后面帮专业媒体写稿子 , 引发巨大恐慌 。 如Nature、纽约教育部等 , 都针对ChatGPT发布禁令 。
马里兰大学学者们提出的这一新方法 , 为解决这些麻烦提出了个新思路 。
不少网友都觉得 , 这个方法提出的正是时候 , 而且效果看着也不错 。
文章图片
有学者还和美国高中生喊话 , 你们要做好准备了!
文章图片
作者表示 , 方法代码将在2月15日免费开源 。 计算文本由AI生成的概率
所谓模型水印 , 人类无法看到 , 但是计算机可以 。
这是一种现在被常用于大规模语言模型(LLM)中的方法 , 能让AI生成的文本带有“特殊标记” 。 即把信号嵌入到生成的文本中 , 让算法能从一小段token中检测出来 。
最近 , OpenAI方面也表示 , 考虑在ChatGPT中添加水印 , 以降低模型被滥用带来的负面影响 。
这篇最新论文的作者 , 就想验证下这个想法到底靠不靠谱 。 他们通过给LLM中嵌入水印 , 然后再进行检测 。 其中水印的嵌入不会影响文本生成质量 。
具体来说 , 大规模语言模型每次生成一个token , 每个token将从包含大约5万个词汇的词汇表中进行选择 。
在新token生成之前 , 该方法会从基于最近已生成的token为随机数生成器(RNG)提供“种子” , 以此来压一个水印 。
文章图片
然后使用RNG , 能将词汇表分为黑名单和白名单 , 并要求LLM接下来只能从白名单中选择词汇 。
如果整段文本中 , 白名单中的词汇越多 , 就意味着越有可能是AI生成的 。
黑白名单的区分 , 基于一个原则:
人类使用词汇的随机性更强 。
举例来说 , 如果在“美丽的”后面生成词汇 , 水印算法会将“花”列入白名单 , 将“兰花”列入黑名单 。
论文作者认为 , AI更可能使用“花”这个词汇 , 而不是“兰花” 。
文章图片
然后 , 就能通过计算整段文本中白名单token出现的情况 , 来检测水印 。
如果一共有生成了N个token , 所有的token都使用了白名单词汇 , 那么这段文字只有2的N次方分之一概率是人类写的 。
即便这段文字只有25个词组成 , 那么水印算法也能判断出它到底是不是AI生成的 。
但作者也表示 , 水印有时候也不一定完全靠谱 。
比如模型输出了“SpongeBobSquare” , 下一个单词一定会是“Pants”吧?但是Pants会被标记到黑名单里 , 即认为是只有人才会写的词 。
(注:SpongeBobSquarePants是《海绵宝宝》动画片的英文 , 可理解为一个专有名词)
文章图片
这种情况会严重影响算法的准确性 , 因此作者将其定义为低熵token , 因为模型几乎不会有更好的选择 。
对应来看 , 也会有高熵token , 比如“海绵宝宝感觉____”这个句式里 , 能填入的词汇太多了 。
- AI|首个教育圈ChatGPT来了!网易有道将推生成式AI:可批改作文
- 甲烷|发电细菌生成超稳定蛋白质“纳米线”
- excel|excel中如何从含数字的文本中提取出数字信息?
- 在工作中|excel输入小写数字自动生成大写金额模板,你也可以试试!
- 怎样防止别人蹭网?教你3个小妙招,再也不怕别人蹭网
- 芯片|想对文本数字排序?你首先要帮助 Excel 把文本翻译成数值
- 美国在芯片上卡我们脖子?我们不能坐以待毙,中国再也不能给自己在芯片领域上的失败找借口!
- realme|1TB海量存储再也不怕微信膨胀了!真我GT Neo5硬核卖点即将揭晓
- 英伟达推出3D模型智能生成应用Magic3D,数字化建模迈入AI时代
- 很多用户使用微信生成付款码时|微信生成“付款码”时,突然要输入密码是怎么回事?