用 Node 调大模型 API 时，「返回 200」不等于成功：我们怎么测 AI 中转站的流式稳定性

利益相关：文末的 Folkbench 是我们自己做的。 很多人在 Node 服务里接大模型都会走中转站。我们自己踩过一个很典型的坑：健康检查只看 res.status === 200 ，结果有的中转站在上游 429/401 的时候也返回 200，SSE 流到一半直接塞一个 data: [DONE] ，甚至把 {"error": ...} 当成模型的回答流出来。监控一片绿，线上用户却在抱怨「话说到一半就断了」。 后来我们判断「成功」的标准改成了这样： // 一个最小的判断：流式请求必须同时满足这几条，才算成功 let gotFirstChunk = false, gotDone = false, parseErrors = 0; const t0 = performance.now(); let ttft = null; for await (const line of readLines(res.body)) { // 按 SSE 的事件边界解析，不要按网络分包猜 if (!line.startsWith('data:')) continue; const payload = line.slice(5).trim(); if (payload === '[DONE]') { gotDone = true; break; } try { const evt = JSON.parse(payload); if (evt.error) throw new Error('error-in-stream'); // 混在流里的报错，不能当成输出 if (!gotFirstChunk) { gotFirstChunk = true; ttft = performance.now() - t0; } } catch { parseErrors++; } } const ok = res.status === 200 && gotFirstChunk && gotDone && parseErrors === 0; 另外几条经验： 首字耗时（TTFT）和总耗时分开记。 我们遇到过总耗时 4 秒左右、首字却要 12 秒的情况，只看总耗时根本发现不了。 看 P95/P99，不看平均。 高峰期的问题都在尾部。 至少连续测 3～7 天 ，重点看晚上 21:00～01:00。 重试要设预算。 只对能安全重复的请求重试；鉴权失败、参数错误不要重试。 完整的指标和失败分类写在这里：https://folkbench.com/blog/ai-api-relay-stability-guide?utm_source=luntan&utm_campaign=cnode 我们把这些测试结果公开在 Folkbench 上，按模型比较各家中转站。还是 Beta，欢迎拍砖。