社区讨论LinuxDo 最新
想部署qwen3.8 27b,大佬们推荐个版本,dell7920工作站,RTX3090 24G 2,内存128
部署qwen3.8 27b,大佬们推荐个版本,dell7920工作站,RTX3090 24G 2,内存128,单卡时候45-50t/s,双卡上下文256k了,速度还是50-60ts没啥提高,这咋办?画个鹧鸪骑自行车,5分钟以上,效果可以。用的q4 kvq8-0,有什么好办法提升速度吗?没有nvlink
内容摘要
作者:#wind
板块:#开发调优
部署qwen3.8 27b,大佬们推荐个版本,dell7920工作站,RTX3090 24G*2,内存128,单卡时候45-50t/s,双卡上下文256k了,速度还是50-60ts没啥提高,这咋办?画个鹧鸪骑自行车,5分钟以上,效果可以。用的q4 kvq8-0,有什么好办法提升速度吗?没有nvlink
资讯来源
LinuxDo