花巨资横评:Qwen3.8-27B 四卡对比 3090-4090-5090-V100

作者：#jeffccie 板块：#开发调优 以下数据全部为真机实测 本报告完全基于以下实测报告（全部同源，模型均为 Qwen3.8-27B）： 3090 24G：Ollama 0.32.15 / Q4_K_M / 实测 32K-128K 4090 48G：llama.cpp Ridge-3.7bpw / 实测 192K-256K + vLLM 0.19.1 FP8 / 实测 192K 5090 32G：Ollama 0.32.15 / Q4_K_M / 实测 64K-256K + vLLM 0.26.1rc1 / NVFP4 / 实测 32K-192K V100 32G：Ollama / Q4_K_M / 实测 192K-256K 命名说明：本报告用"RTX 5090"指代 32GB 档位的卡——nvidia-smi 原文为 NVIDIA GeForce RTX 5090 / 32607 MiB，但文件夹沿用"5070"目录名。两者指同一份硬件。 量化格式警告：四卡使用了四种不同量化格式（Q4_K_M / Ridge-3.7bpw / NVFP4 / FP8），所有跨卡对比都带此口径差异。本报告在每个对比处标注了量化信息。 速览 — 2 分钟看完 给不想看全部数据的人。 四张卡跑同一个 27B 模型，结果一句话概括： 你的需求 选这张卡 为什么 预算有限，跑 64K 上下文 RTX 3090 24G 二手便宜，64K 跑 37 字/秒，够用 要跑 192K 长上下文 + 速度快 RTX 5090 32G 192K 还能 52 字/秒（Ollama）/ 70 字/秒（vLLM） 要跑 192K + 显存留余量 RTX 4090 48G 48G 显存只用了 49%，192K 跑 42 字/秒，还剩 25G 干别的 预算极紧 + 能接受慢一点 Tesla V100 32G 退役卡便宜，192K 跑 30 字/秒，能用但慢 追求极限速度（≤32K） RTX 5090 + vLLM + DFlash 2 32K 跑到 170 字/秒，峰值 230 要大 prompt 灌入速度快 RTX 4090 + vLLM 10 万字 10 秒吃完，其他卡要 95 秒 关键数字： 卡 100% GPU 极限 最佳 Decode 最佳 Prefill 3090 24G 64K 37 tok/s @64K 1100 tok/s @64K 4090 48G 192K+ 42 tok/s @192K（llama）/ 98 tok/s 短 ctx（MTP2） 15,600 tok/s（vLLM） 5090 32G 192K 52 tok/s @192K（Ollama）/ 170 tok/s @32K（vLLM DFlash） 2650 tok/s @128K（Ollama） V100 32G 192K 30 tok/s @192K ~780 tok/s @192K（3K prompt） 0. 结论 0.1 一句话 Ollama 路线（Q4_K_M）： 想跑 64K：RTX 3090 24G 性价比首选（~37 tok/s）。 想跑 192K：RTX 5090 32G 完胜（~52 tok/s，比 V100 快 1.73×）。 想跑 192K + 预算紧：V100 32G 备选（~30 tok/s，慢但能用）。 llama.cpp 路线（4090 48G）： 192K 长上下文日用首选（42 tok/s 中位，79.5 分钟零崩溃，显存只吃 49%）。 vLLM 路线（4090 / 5090）： 5090 + vLLM 0.26 + NVFP4：速度天花板（32K DFlash 2 跑出 170 tok/s / 峰值 230）。 4090 + vLLM 0.19.1 + FP8：prefill 之王（10.2K-15.6K tok/s），但 100K+ decode 只有 1.8-3.2 tok/s（kernel 病理）。 0.2 四卡推荐档位对照 卡 框架 量化 首选档 次选档 不推荐档 100% GPU 极限 3090 24G Ollama 0.32.15 Q4_K_M 64K（~37 tok/s） 32K（~36 tok/s） 128K（~2.3 tok/s，offload） 64K 4090 48G llama.cpp Ridge-3.7bpw 192K（42 tok/s） 256K 单 slot（42 tok/s） 256K×4slot+MTP（KV 争用） 192K+ 4090 48G vLLM 0.19.1 FP8 W8A8 短 ctx 双流（51 tok/s） — 100K+（1.8-3.2 tok/s，病理） 192K（但长 ctx 不可用） 5090 32G Ollama 0.32.15 Q4_K_M 192K（~52 tok/s） 128K（~58 tok/s） 256K（~7 tok/s，offload） 192K 5090 32G vLLM 0.26.1rc1 NVFP4+fp8 KV 32K+DFlash 2（~170 tok/s） 128K+MTP（~120 tok/s） 192K+MTP（KV 装不下） 192K V100 32G Ollama Q4_K_M 192K 单卡（~30 tok/s） — 256K / 双卡（无加速） 192K 0.3 四卡核心指标横向对比（Ollama 路线，直接可比档位） 直接可比规则：两卡必须在同一 num_ctx 档都有完整数据。缺失格子留 “—”。 本表所有数据来自 Ollama 0.32.15（Q4_K_M），vLLM / llama.cpp 数据见第 9-10 章。 卡 指标 64K 128K 192K 256K 3090 24G 加载层数 66/66 54/66 — — 4090 48G 加载层数 — — — —（llama.cpp 数据体系不同） 5090 32G 加载层数 66/66 66/66 66/66 54/66 V100 32G 加载层数 — — 66/66 56/66 3090 24G KV GPU (GiB) 4.0 6.5 — — 5090 32G KV GPU (GiB) 4.0 8.0 12.0 13.0 V100 32G KV GPU (GiB) — — 12.0 14.3 3090 24G KV CPU (GiB) 0 1.5 — — 5090 32G KV CPU (GiB) 0 0 0 3.0 V100 32G KV CPU (GiB) — — 0 2.0 3090 24G Prefill 8K (tok/s) ~1100 ~245 — — 5090 32G Prefill 8K (tok/s) 2580 2650 2597 535 V100 32G Prefill 3K (tok/s) — — ~780 — 3090 24G Decode 中位 (tok/s) ~37 ~2.3 — — 5090 32G Decode 中位 (tok/s) ~56 ~58 ~52 ~7 V100 32G Decode 中位 (tok/s) — — ~30 — 3090 24G MTP accept 0.71 0.75 — — 5090 32G MTP accept 0.50 0.55 0.46 0.53 V100 32G MTP accept — — 0.58 — 0.4 跨硬件倍数关系（直接可比档位） 维度 档位 5090/3090 5090/V100 来源 Prefill 8K 64K 2.35× — 5090: 2580 vs 3090: 1100 Prefill 8K 128K 10.8× — 5090: 2650 vs 3090: 245（3090 已 offload） Decode 中位 64K 1.51× — 5090: 56 vs 3090: 37 Decode 中位 128K 25.2× — 5090: 58 vs 3090: 2.3（3090 已 offload） Decode 中位 192K — 1.73× 5090: 52 vs V100: 30 128K 那行注意：3090 已 12 层 offload、5090 仍 100% GPU——倍数包含"offload vs 全 GPU"的差距，不只是硬件性能差。 TL;DR 维度 3090 24G 4090 48G 5090 32G V100 32G 架构 Ampere（sm86） Ada（sm89） Blackwell（sm120） Volta（sm70） 推理引擎 Ollama 0.32.15 llama.cpp / vLLM 0.19.1 Ollama 0.32.15 / vLLM 0.26.1rc1 Ollama 量化 Q4_K_M Ridge-3.7bpw / FP8 Q4_K_M / NVFP4 Q4_K_M 加速方案 MTP（k=4）