人和模型如何共享媒介

作者：#BA nana 板块：#开发调优 GPT 现在的多模态能力已经很强,随手一张截图贴进对话框就能代替大段的文字描述 但对模型而言,一张截图往往意味着几百甚至数千视觉 token ,其中包含大量和任务无关的颜色、样式和像素,使用非常方便,但在长程、工业级场景下会成为推理负担,以 OpenAI 一张 1920 × 1080 截图为例： 模型与模式 处理方式 约占 GPT-5.6 low 缩放到 512×288,再按 32px patch 计算 173 tokens GPT-5.6 high 60×34 个 32px patches,再乘 1.2 2,448 tokens 如果代码报错时面对几百行报错日志,你会： 1.截图甩给模型 2.复制原本文本给模型 3.自己修复 没有理由不选 2,截图反而要求模型额外处理颜色、边框、排版等与问题无关的噪声 一种理想的多模态交互模式是让图片成为持续对话的载体: 人类在上面圈圈点点,模型理解意图后执行并更新图片 但模型能力距离这个目标还很远,当图片在多轮对话被反复传递时,相同的视觉内容会被重复处理,并持续占用上下文;图片适合一次性传递信息,但不适合充当人和模型之间长期共享、持续修改的状态 人和 LLM 擅长的信息形态并不同:人擅长从二维场景快速捕捉关系: 图像、GUI 和图标让层级与状态一目了然;而 LLM 稳定的读写接口是 token 序列,无论内部计算多复杂,语言最终以线性符号序列进出上下文 过去我们不断提升多模态能力,让 LLM 能适应 GUI；另一边,我们也只能消费 LLM 大量生产的纯文本 Markdown 等标记让纯文本有了层级与强调,HTML 进一步证明结构化文本可以被渲染成人类易读的视觉界面.可对于几十轮的持久对话来说,每轮都重新生成一套页面太重了 理想的媒介是让模型直接生成,人可以就地消费 我们需要找到一个更轻、更稳定、并且可以直接进入模型上下文的二维媒介—— 对人类呈现空间、层级和视觉重点；而对模型却仍然只是一段可读、可写的文本序列 GPT-4o 发布时很爱输出 Emoji 这种表达被过度