返回 AI 资讯
社区讨论LinuxDo 最新

codex上下文设置讨论

想请教下各位主动设置自己的上下文为多少呢。默认的是258k,我用的官订的5x,一般用astra,看到有人说设置为500k左右还行,但是又看到有人说上下文大了,模型注意力表现会降低,并且价格更贵。我是在进行比较长的修改计划时,可能会经历多次压缩,觉得压缩会丢失必要信息,而且压缩多了会变笨,但是换对话又比较麻烦,想一个对话搞完当前计划,然后想的是可能上下文大一点压缩次数能少点。顺便问下各位佬一般压缩多少次之后就会开新对话,我感觉默认258k第三次压缩后就有点变笨的趋势了。众说纷纭的,想看下各位的意见。

内容摘要

作者:#moyuiiovo 板块:#搞七捻三 想请教下各位主动设置自己的上下文为多少呢。默认的是258k,我用的官订的5x,一般用astra,看到有人说设置为500k左右还行,但是又看到有人说上下文大了,模型注意力表现会降低,并且价格更贵。我是在进行比较长的修改计划时,可能会经历多次压缩,觉得压缩会丢失必要信息,而且压缩多了会变笨,但是换对话又比较麻烦,想一个对话搞完当前计划,然后想的是可能上下文大一点压缩次数能少点。顺便问下各位佬一般压缩多少次之后就会开新对话,我感觉默认258k第三次压缩后就有点变笨的趋势了。众说纷纭的,想看下各位的意见。

资讯来源

LinuxDo

原文链接

打开原文