社区讨论LinuxDo 最新
strata确实夸张
双卡nvidia a6000 48g，没有nvlink，每张卡分别部署了一套qwen 3.8f q4。 让astra自己写了个负载均衡的管理系统，速度不错啊。 希望后续能跟进别的模型 。
内容摘要
作者：#司马老贼
板块：#开发调优
双卡nvidia a6000 48g，没有nvlink，每张卡分别部署了一套qwen 3.8f q4。
让astra自己写了个负载均衡的管理系统，速度不错啊。
希望后续能跟进别的模型 。
资讯来源
LinuxDo