社区讨论LinuxDo 最新
求助，本地部署千问模型
求助，本地部署千问模型，我的设备是mac studio m4max 128G，用的模型是qwen3.8-27b-q6，我本地使用了llama.cpp部署了千问3.8模型，吐字非常慢，token才10-20不稳定，有没有好的部署优化方案？或者是不是我的方式不对？
内容摘要
作者：#香蕉你个巴拉
板块：#搞七捻三
求助，本地部署千问模型，我的设备是mac studio m4max 128G，用的模型是qwen3.8-27b-q6，我本地使用了llama.cpp部署了千问3.8模型，吐字非常慢，token才10-20不稳定，有没有好的部署优化方案？或者是不是我的方式不对？
资讯来源
LinuxDo