GPT-Load 接入 Jev：模型及思考强度的自动挡功能

GPT-Load 接入 Jev：模型及思考强度的自动挡功能 开源推广发帖模板 （点击了解更多详细信息） ---------------------- 项目主贴： 🔥 GPT-Load 2.0 发布！！！轻量易用的自托管 AI 网关 项目地址： GitHub - tbphp/gpt-load: Self-hosted AI gateway for multi-channel, multi-credential setups — API keys and subscription accounts, scheduling, failover, request logs and usage. 自托管 AI 网关：多渠道多凭据统一接入，含密钥与订阅账号、调度容错、日志与用量。 · GitHub 最近折腾了一下 Jev，感觉没有 X 上吹得那么神，准确度还有待提高，不过确实有很多有意思的玩法，特别是针对我在做的 GPT-Load 项目，马上就能想到一个场景：Auto Model 。 目前 GPT-Load 新版加了个 自动模型 功能：让 Jev 判断这次任务适合哪一档，自动调度，省掉本地手动切换模型、思考的操作。 Jev 负责选档，真正思考和输出的还是配置好的预设模型。 目前已经支持 typesafe.ai 官方和 OpenRouter 的 Jev 渠道。 ---------------------- 怎么用 1. 新建 Jev 官方或 OpenRouter 分组填好密钥，配置好 jev 模型。 2. 在全局设置里找到「实验性功能 → 自动模型」，开启并选择前面配置的 jev 模型。 3. 可以先用默认的4档预设，再调整每档的目标模型、思考强度，以及档位的描述提示词。 4. 客户端把模型设为 auto ，正常发请求即可。（auto 模型可自定义） auto 路由、决策、命中哪一档、判断花了多久、决策费用是多少，都能在日志里看到。 一起来实验 当然，调用 Jev 是会增加判断耗时和费用（目前观察费用极低，不过耗时要看任务输入和网络链路延迟），选档精准度还需要调教。不过有回退兜底机制，不会阻塞整个请求。 佬友们有好用的预设，或者遇到选档不合理的情况，欢迎讨论。对功能设计、判断机制有建议，也请不吝指教。 希望能让 Auto 做到真的好用的自动挡，从而从实验变成正式功能。 ---------------------- 关于模型切换与缓存的讨论 切换模型会导致缓存失效，所以这个实验性功能是有一定代价的。 目前做了一些优化，保证同一个指令（不是会话）会保证沿用，不会每次请求都进行判断。这样保证一个任务只进行判断一次，也避免模型切换。 但是会话中多个指令会根据预设的提示词进行判断。 比如场景：在一个会话中进行方案设计、架构沟通期间会用高档位。方案确定后开始实施会切普通档。损失一次缓存，也能保证质量和成本。 而且预设是用户自己填写的，切换时机通过预设提示词来控制。 比如以上场景，可以在预设中明确方案沟通设计使用高档，编码实施等任务使用普通档位。 自动挡肯定没有手动挡精准，这是不可避免的。就比如我们开始也有自动和手动的选择，根据自己需要选择对应的模式即可。 如果不想切模型，那也可以用来自动切思考。（某些思考仍然会破坏缓存的不适用） 36 个帖子 - 19 位参与者 阅读完整话题 via LINUX DO - 热门话题 (author: 唐洛) 相关链接： https://linux.do/t/topic/2929284/1 https://linux.do/t/topic/2843455 https://github.com/tbphp/gpt-load http://typesafe.ai/ https://linux.do/t/topic/2929284