返回 AI 资讯
社区讨论LinuxDo 最新

【开源推广】Sakura-AI-Gateway 多中转合一

本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺是永久有效的,接受社区和佬友监督: 是 以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出 各位有没有发现,中转站不管是免费的还是收费的,经常会出现消失、断连等等情况,这样的情况下还要在各个agent里修改你的配置,真的很麻烦…

内容摘要

作者:#SakuraGu146 板块:#开发调优 本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容: 我的帖子已经打上 开源推广 标签: 是 我的开源项目完整开源,无未开源部分: 是 我的开源项目已链接认可 LINUX DO 社区: 是 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是 以上选择我承诺是永久有效的,接受社区和佬友监督: 是 以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出 各位有没有发现,中转站不管是免费的还是收费的,经常会出现消失、断连等等情况,这样的情况下还要在各个agent里修改你的配置,真的很麻烦 那么,有没有一个可以把多中转可以一站式的配置在某一个地方统一保管和配置呢? Sakura-AI-Gateway 这个项目便横空出世了,以下为项目介绍 该项目是运行在本机的轻量模型聚合网关。它把本地客户端的 OpenAI、Anthropic 和 Responses 请求转发到多个可配置的上游站点,并在中间完成协议转换、路由分流、熔断降级、限流和用量统计 它解决的是 [一台机器上装了多个 AI 客户端,每个客户端各自配一堆中转站] 的重复劳动:上游只在网关里配置一次,客户端统一指向 http://你的地址:8787/v1,用网关签发的本地 Key 访问 它不是账单系统,也不是模型训练或推理引擎。余额查询是按需手工触发的读取操作,用量统计只用于本地排查,不等同于上游账单 本软件有三个部署方式,第一是本地exe直接启动,第二是docker部署,第三是node启动 该项目开源地址 GitHub - Guyao146/Local-Model-Gateway · GitHub 欢迎大家使用并提出意见!本项目有AI参与编写,同时也可以看看作者主页下的其他项目!

资讯来源

LinuxDo

原文链接

打开原文