社区讨论LinuxDo 最新
平时用agent的佬们是怎么解决多模型的调度问题呢?
用的模型多了有个想法就是类似不同的模型厂商有没有一个方法可以一起汇总调度,比如说强模型带弱模型这种,有没有已经成熟的办法呢。 佬们都是用什么方法,是直接调用cli还是反代或者用什么其他方法,分享看看想法。
内容摘要
作者:#kuyou2333
板块:#搞七捻三
用的模型多了有个想法就是类似不同的模型厂商有没有一个方法可以一起汇总调度,比如说强模型带弱模型这种,有没有已经成熟的办法呢。
佬们都是用什么方法,是直接调用cli还是反代或者用什么其他方法,分享看看想法。
资讯来源
LinuxDo