社区讨论LinuxDo 最新
上下文1M的意义大吗？
我认为意义不大，因为上下文长了模型就开始流口水。我一般都是在300k的时候进行压缩。luna这种小模型上下文呢都是限制在150k，用满了就新开会话。实际工作中压根就用不到这么长的上下文，对我来说400k就够用了
内容摘要
作者：#l
板块：#搞七捻三
我认为意义不大，因为上下文长了模型就开始流口水。我一般都是在300k的时候进行压缩。luna这种小模型上下文呢都是限制在150k，用满了就新开会话。实际工作中压根就用不到这么长的上下文，对我来说400k就够用了
资讯来源
LinuxDo