返回 AI 资讯
社区讨论LinuxDo 最新

求助,GPT用CPA中转,怎么提高缓存?消耗太快了

做了一个WEB应用,做的分析小说,使用自己的CPA中转站,2个PLUS轮询,开启了粘性路由,设置72h 但是实际上1刀只能反代出0.1M的token,查看缓存基本没有,怎么提高缓存命中,是因为小说不一样导致缓存低吗? 求问下大佬们应该怎么解决吗?

内容摘要

作者:#大器 板块:#搞七捻三 做了一个WEB应用,做的分析小说,使用自己的CPA中转站,2个PLUS轮询,开启了粘性路由,设置72h 但是实际上1刀只能反代出0.1M的token,查看缓存基本没有,怎么提高缓存命中,是因为小说不一样导致缓存低吗? 求问下大佬们应该怎么解决吗?

资讯来源

LinuxDo

原文链接

打开原文