技术社区开源中国
让 gzip 当语言模型?压得最小的地方,就是它“觉得”最像原文的地方
Nathan Barry 提出了一个脑洞实验:能不能让 gzip 当语言模型?不要神经网络、不要训练参数,就用你操作系统里那个现成的压缩器——拿语料喂进它的滑动窗口,给个正常提示词,让它在"怎么压最省"的驱动下继续往下生成。结果真的能出字符,虽然远谈不上通顺,但它确实"知道"语料里的一些东西,比作者预期的多得多。 理论根...
内容摘要
Nathan Barry 提出了一个脑洞实验:能不能让 gzip 当语言模型?不要神经网络、不要训练参数,就用你操作系统里那个现成的压缩器——拿语料喂进它的滑动窗口,给个正常提示词,让它在"怎么压最省"的驱动下继续往下生成。结果真的能出字符,虽然远谈不上通顺,但它确实"知道"语料里的一些东西,比作者预期的多得多。 理论根...
资讯来源
开源中国