返回 AI 资讯
技术社区开源中国

让 gzip 当语言模型?压得最小的地方,就是它“觉得”最像原文的地方

Nathan Barry 提出了一个脑洞实验:能不能让 gzip 当语言模型?不要神经网络、不要训练参数,就用你操作系统里那个现成的压缩器——拿语料喂进它的滑动窗口,给个正常提示词,让它在"怎么压最省"的驱动下继续往下生成。结果真的能出字符,虽然远谈不上通顺,但它确实"知道"语料里的一些东西,比作者预期的多得多。 理论根...

内容摘要

Nathan Barry 提出了一个脑洞实验:能不能让 gzip 当语言模型?不要神经网络、不要训练参数,就用你操作系统里那个现成的压缩器——拿语料喂进它的滑动窗口,给个正常提示词,让它在"怎么压最省"的驱动下继续往下生成。结果真的能出字符,虽然远谈不上通顺,但它确实"知道"语料里的一些东西,比作者预期的多得多。 理论根...

资讯来源

开源中国

原文链接

打开原文