返回 AI 资讯
技术社区掘金

vLLM为了新GPU拆掉旧抽象,为什么还要再造一套可移植层

大模型推理框架长期追求“一套代码跑多种芯片”,但新模型的注意力、混合专家和通信方式越来越专用,新GPU又要求更激进的融合内核。vLLM的新答案不是继续扩大万能抽象,而是双轨:热门模型走硬件专用快车,长尾模型和非主流加速器

内容摘要

大模型推理框架长期追求“一套代码跑多种芯片”,但新模型的注意力、混合专家和通信方式越来越专用,新GPU又要求更激进的融合内核。vLLM的新答案不是继续扩大万能抽象,而是双轨:热门模型走硬件专用快车,长尾模型和非主流加速器

资讯来源

掘金

原文链接

打开原文