请问有没有有人味能用来角色扮演的本地部署小模型

作者：#nanbloom001 板块：#开发调优 我想部署一个本地小模型，我有 4*A10（Ampere架构 24GB），之前的是四卡部署 qwen3.8 27B W4A16，然后我本地优化了一下压缩到了 2 卡可用，在claude code 中也能有 100tok/s 左右的输出。现在多出了 2 张卡，想用一张卡来部署一下能用来聊天有人味的小模型。 最近星火出了 Spark X2.5 1.7B/4B 原生支持 1M 上下文，有点想尝试部署一下试试。 但是不知道本地单卡部署有什么比较好的有人味的模型，qwen3.8 感觉是编程特化过的，而且输出也不是很快，不是很适合用来聊天。 不知道这些模型怎么样： Qwen3.5-9B Gemma 4 12B Ministral 3 14B Granite 4.2-8B MiniCPM5-1B 都是小模型，不知道好不好用，请问有没有佬友部署过相关的模型？