《降临》作者特德·姜:ChatGPT是网上所有文本的模糊图像

2月9日 , 美籍华裔科幻作家特德·姜(TedChiang)在《纽约客》上发表文章 , 表达了他对时下大热的人工智能ChatGPT独特见解 。 特德·姜在科幻小说领域成绩斐然 , 曾获得星云奖、雨果奖等科幻小说大奖 。 他的短篇小说《你一生的故事》在2016年被改编成电影《降临》 。
《降临》作者特德·姜:ChatGPT是网上所有文本的模糊图像
文章图片
OpenAI和ChatGPT的标志视觉中国资料图
以下是全文译文:
2013年 , 德国一家建筑公司的工人注意到他们的施乐复印机有一些奇怪的地方:当他们复印一张房子平面图时 , 副本与原件之间存在微妙而显著的差异 。 在最初的平面图中 , 每栋房子的三个房间都有一个矩形来说明其面积:房间分别为14.13平方米 , 21.11平方米和17.42平方米 。 然而 , 在复印件中 , 所有三个房间都被标记为14.13平方米 。 该公司联系了计算机科学家大卫·克里塞尔(DavidKriesel) , 让他对这一看似不可思议的结果进行调查 。 他们需要一名计算机科学家 , 因为现代施乐复印机使用的不是20世纪60年代流行的物理静电复印工艺 。 相反 , 它以数字方式扫描文档 , 然后打印生成的图像文件 。 结合这一事实 , 为了节省空间 , 几乎每个数字图像文件都经过了压缩 。 谜底开始浮出水面 。
压缩文件需要两个步骤:首先是编码 , 在此期间文件被转换为更紧凑的格式;然后是解码 , 将编码的过程反向进行 。 如果恢复的文件与原始文件相同 , 则压缩过程被描述为无损 , 即没有丢失信息 。 相比之下 , 如果恢复的文件只是原始文件的近似值 , 则压缩被描述为有损 , 即一些信息已丢失而无法恢复 。 无损压缩通常用于文本文件和计算机程序 , 因为在这些领域中 , 即使是一个错误的字符也有可能造成灾难性的后果 。 在绝对精度不重要的情况下 , 有损压缩通常用于照片、音频和视频 。 大多数时候 , 我们不会注意到一张图片、一首歌或电影是否被完美地复制 。 只有当文件被压缩得非常紧时 , 保真度的损失才会更加明显 。 在这些情况下 , 我们会注意到所谓的压缩伪影——最小的JPEG和MPEG图像的模糊 , 或者低比特率MP3的微弱声音 。
施乐复印机使用一种被称为jbig2的有损压缩格式 , 专为黑白图像而设计 。 为了节省空间 , 复印机会识别图像中看起来相似的区域 , 并为所有这些区域存储一份副本;当文件被解压时 , 它会重复使用该副本来重建映像 。 结果是 , 复印机判断出指定房间面积的标签非常相似 , 所以它只需要存储其中一个 , 即14.13平方米的房间 , 并且在打印楼层平面图时 , 它对所有三个房间都重复使用这一个标签 。
施乐复印机使用有损压缩格式而不是无损格式 , 这本身并不是一个问题 。 问题是复印机以一种微妙的方式压缩了图像 , 使其中压缩的伪影不能被立即识别出来 。 如果复印机只是打印出模糊的照片 , 每个人都会知道这不是原件的准确复制品 。 导致问题的原因是复印机输出的数字是可读的 , 但不准确——它使副本看起来准确 , 但实际上并不准确 。 (2014年 , 施乐发布了一个补丁来纠正这个问题 。 )
我认为 , 在我们研究OpenAI的ChatGPT和其他类似程序(人工智能研究人员称之为大语言模型)时 , 施乐复印机的这起事件值得我们铭记于心 。 复印机和大语言模型之间的相似之处可能不是很明显 , 但请考虑以下场景:想象一下 , 你即将永远失去上网的机会 。 在准备阶段 , 你计划为万维网上的所有文本创建一个压缩副本 , 以便将其存储在专用服务器上 。 不幸的是 , 你的私人服务器只有所需空间的1%;如果你想要所有的一切都是准确的 , 你就不能使用无损压缩算法 。 相反 , 你可以编写一个有损算法来识别文本中的统计规律 , 并将它们存储在专门的文件格式中 。 由于你在这个任务中拥有几乎无限的计算能力 , 因此你的算法可以识别非常细微的统计规律 , 这允许你实现所需的100:1的压缩比 。