技术社区掘金
vLLM为了新GPU拆掉旧抽象,为什么还要再造一套可移植层
大模型推理框架长期追求“一套代码跑多种芯片”,但新模型的注意力、混合专家和通信方式越来越专用,新GPU又要求更激进的融合内核。vLLM的新答案不是继续扩大万能抽象,而是双轨:热门模型走硬件专用快车,长尾模型和非主流加速器
内容摘要
大模型推理框架长期追求“一套代码跑多种芯片”,但新模型的注意力、混合专家和通信方式越来越专用,新GPU又要求更激进的融合内核。vLLM的新答案不是继续扩大万能抽象,而是双轨:热门模型走硬件专用快车,长尾模型和非主流加速器
资讯来源
掘金