返回 AI 资讯
社区讨论LinuxDo 最新

GLM 5.3 Flash with TensorFold 2 DGX Spark, decode 在60tks,确实比vLLM要快

舒服了,菜单用的是Mia的,tensorfold也在进化,这是一个兼容cuda和apple silicon的新框架,几乎是倍增vLLM EXL3也是新格式,相当于是nvfp4还小,但更接近bf16,好处是exl3不再是blackwell的专利, 新框架和新格式,都对旧卡友好,可以持续关注

内容摘要

作者:#yeyucca 板块:#搞七捻三 舒服了,菜单用的是Mia的,tensorfold也在进化,这是一个兼容cuda和apple silicon的新框架,几乎是倍增vLLM EXL3也是新格式,相当于是nvfp4还小,但更接近bf16,好处是exl3不再是blackwell的专利, 新框架和新格式,都对旧卡友好,可以持续关注

资讯来源

LinuxDo

原文链接

打开原文