社区讨论LinuxDo 最新
【 🔥 爽了】GPT6-Astra把我本地部署的GLM5.3Flash速度提高了50%！
前几天刚买了两台 DGXSpark 然后部署GLM5.3Flash，目前社区里面 效果最好、速度最快（相对）的方案是 Mia-lab的 MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks: GLM-5.3 Flash EXL3 for 2x DGX Sparks 但是它prose decode只有27tps左右 结构化代码会提高 在真实harness上下文中实际速度甚至只有24-30波动，还是偏慢了。 然后让Astra直接帮我定制化内核，在不损失精度的情况下优化解码速度， /go…
内容摘要
作者：#宙方
板块：#开发调优
前几天刚买了两台 DGXSpark
然后部署GLM5.3Flash，目前社区里面 效果最好、速度最快（相对）的方案是
Mia-lab的
MiaAI-Lab/GLM-5.3-Flash-EXL3-2x-DGX-Sparks: GLM-5.3 Flash EXL3 for 2x DGX Sparks
但是它prose decode只有27tps左右 结构化代码会提高 在真实harness上下文中实际速度甚至只有24-30波动，还是偏慢了。
然后让Astra直接帮我定制化内核，在不损失精度的情况下优化解码速度，
/goal 进一步优化Decode速度，从推理引擎、spark专属内核、GLM5.3flash特性、双机数据交换等方面入手，善用GitHub、huggingface、context7等互联网手段，专为该模型优化。
然后
本地部署 在DSH 实测
相当可用了 在超过300k上下文仍然超过30tps，已经跟API速度差不多了。
资讯来源
LinuxDo