返回 AI 资讯
社区讨论V2EX 技术

有什么本地部署好使的写代码小模型吗? 24GB 显存玩玩那种

3090 24GB 的显卡 64GB DDR5 内存 目前调研能部署的有 Qwen3-Coder-30B-A3B ( Q4 K M / AWQ )、DeepSeek-R1-Distill-Qwen-32B ( AWQ / INT4 )、DeepSeek-Coder-V2-Lite ( Q4 K M / Q5 K M )、DeepSeek-Coder-33B ( Q4 K M ) 有同志真自己部署了吗,哪一个的效果相对好一点呢?

内容摘要

3090 24GB 的显卡 64GB DDR5 内存 目前调研能部署的有 Qwen3-Coder-30B-A3B ( Q4_K_M / AWQ )、DeepSeek-R1-Distill-Qwen-32B ( AWQ / INT4 )、DeepSeek-Coder-V2-Lite ( Q4_K_M / Q5_K_M )、DeepSeek-Coder-33B ( Q4_K_M ) 有同志真自己部署了吗,哪一个的效果相对好一点呢?

资讯来源

V2EX

原文链接

打开原文
有什么本地部署好使的写代码小模型吗? 24GB 显存玩玩那种 · AI 资讯 · AIGOOD - AIGOOD