社区讨论LinuxDo 最新
云端模型的量化程度在哪里能查到？
现在各公司开放的模型，云上只能看到模型名，最多调个思考强度。但按本地部署经验，满精度和 4-bit 以下量化，资源消耗和推理能力差距都很大。 想问下，有没有哪里能看到这些云端模型的实际量化程度？官方不公开的话，有什么间接判断的方法吗？
内容摘要
作者：#Jayisan
板块：#搞七捻三
现在各公司开放的模型，云上只能看到模型名，最多调个思考强度。但按本地部署经验，满精度和 4-bit 以下量化，资源消耗和推理能力差距都很大。
想问下，有没有哪里能看到这些云端模型的实际量化程度？官方不公开的话，有什么间接判断的方法吗？
资讯来源
LinuxDo