返回 AI 资讯
技术社区掘金

聊天记录越来越长怎么办?从消息数量截断到 Token 截断

Memory 能保存多轮聊天,但历史消息不可能无限塞进模型上下文。本文从最简单的 slice(-N) 开始,逐步升级到 Token 截断,并从二分查找的角度理解:如何在有限 Token 预算下,找

内容摘要

Memory 能保存多轮聊天,但历史消息不可能无限塞进模型上下文。本文从最简单的 `slice(-N)` 开始,逐步升级到 Token 截断,并从二分查找的角度理解:如何在有限 Token 预算下,找

资讯来源

掘金

原文链接

打开原文