返回 AI 资讯
社区讨论LinuxDo 最新

8g显存16g内存部署Ternary-Bonsai-2-27B

8g显存16g内存部署Ternary-Bonsai-2-27B 用KVMem-llama.cpp 可以开128k上下文 22tok/s 感觉是最优解了

内容摘要

作者:#812011525 板块:#开发调优 8g显存16g内存部署Ternary-Bonsai-2-27B 用KVMem-llama.cpp 可以开128k上下文 22tok/s 感觉是最优解了

资讯来源

LinuxDo

原文链接

打开原文
8g显存16g内存部署Ternary-Bonsai-2-27B · AI 资讯 · AIGOOD - AIGOOD