社区讨论V2EX 技术
2 台 DGX Spark 上运行的本地 LLM 横向对比
有三个模型能跑 过去一周 flash 模型集体更新: Qwen3.8-Flash-Next GLM-5.3-FLash DeepSeek-V4-Flash-Vision-Exp(之前没有 Vision) 比较幸运的是这几个模型刚刚好都能在两台 DGX Spark 上面跑起来,直接爽吃。 横向比较 在这三个模型里面来回切换了好多次,说一下使用体验: 速度层面: Qwen3.8-Flash-Next DeepSeek-V4-Flash-Vision-Exp GLM-5.3-FLash 代码质量: GLM-5.3-FL…
内容摘要
有三个模型能跑
过去一周 flash 模型集体更新:
Qwen3.8-Flash-Next
GLM-5.3-FLash
DeepSeek-V4-Flash-Vision-Exp(之前没有 Vision)
比较幸运的是这几个模型刚刚好都能在两台 DGX Spark 上面跑起来,直接爽吃。
横向比较
在这三个模型里面来回切换了好多次,说一下使用体验:
速度层面:
Qwen3.8-Flash-Next > DeepSeek-V4-Flash-Vision-Exp > GLM-5.3-FLash
代码质量:
GLM-5.3-FLash > DeepSeek-V4-Flash-Vision-Exp > Qwen3.8-Flash-Next
图形理解:
GLM-5.3-FLash > Qwen3.8-Flash-Next > DeepSeek-V4-Flash-Vision-Exp
比较细节的是 GLM-5.3-FLash 有两个量化版本 EXL3 和 NVFP4:
NVFP4 的 prefill 更快(加载历史会话更快) 1500t/s 左右,比 EXL3 1000t/s 快很多
EXL3 的 decode 更快(吐字更快) 28t/s ,比 NVFP4 20t/s 快很多
主观结论
我主要是用 Hermes ,这三个模型其实都已经非常不错了,没有找到什么明显瑕疵。
总的来说如果要 绝对质量 ,用 GLM-5.3-FLash ; 要 绝对速度 ,用 Qwen3.8-Flash-Next 。
DeepSeek V4 Flash 有点中不溜,而且图像理解似乎有点近视,看不清图片细节,实测被上面两个模型爆杀。
现在每天日常在用 Qwen3.8-Flash-Next :D
资讯来源
V2EX