技术社区博客园首页
LLM | 投机解码：加速原理与实验结果 - MoonOut
【摘要】背景： 我们自部署了开源大模型 GLM-5.2（FP8 版，zai-org/GLM-5.2-FP8，BF16 原版 zai-org/GLM-5.2），发现请求量上来之后，生成的速度成了瓶颈，因此希望可以通过投机解码提升模型吞吐。 GLM-5.2 自带一个 MTP 层，从而可以直接开投机解码，不用另找 阅读全文
内容摘要
【摘要】背景： 我们自部署了开源大模型 GLM-5.2（FP8 版，zai-org/GLM-5.2-FP8，BF16 原版 zai-org/GLM-5.2），发现请求量上来之后，生成的速度成了瓶颈，因此希望可以通过投机解码提升模型吞吐。 GLM-5.2 自带一个 MTP 层，从而可以直接开投机解码，不用另找 阅读全文
资讯来源
博客园