社区讨论LinuxDo 最新
一种较新的量化格式 EXL3
之前部署了NVFP4的qwen3.8-27b 感觉精度损失较多 偶发循环思考和错位编码（NVFP4版本，我有个文件夹是xxx/测试/，它一直访问xxx/test/，即使提示后也仍然是访问错位路径） 最近看到EXL3 声称能在5-6bit效果达到FP8甚至更低的损失（和原生BF16相比） 然后我本机5090 32g选择的是btw4 + q8kv 上下文拉满262k mtp-3 速度在150tps左右 体感效果比nvfp4好一些，未出现循环思考 附： 【无敌核心】
内容摘要
作者：#ZeusFunk
板块：#开发调优
之前部署了NVFP4的qwen3.8-27b 感觉精度损失较多 偶发循环思考和错位编码（NVFP4版本，我有个文件夹是xxx/测试/，它一直访问xxx/test/，即使提示后也仍然是访问错位路径）
最近看到EXL3 声称能在5-6bit效果达到FP8甚至更低的损失（和原生BF16相比）
然后我本机5090 32g选择的是btw4 + q8kv 上下文拉满262k mtp-3 速度在150tps左右
体感效果比nvfp4好一些，未出现循环思考
附：
【无敌核心】
资讯来源
LinuxDo