技术社区博客园首页
Windows 本地部署 PrismML Ternary-Bonsai-2-27B：RTX 5070 + CUDA 13.3 + llama.cpp Web UI 完整教程 - DaenMax
【摘要】一、前言 最近尝试在 Windows 本地部署 PrismML 发布的 Ternary-Bonsai-2-27B 大语言模型。 这个模型比较特殊，它并不是普通的 GGUF 模型。PrismML 针对三值权重（Ternary）和 Hybrid Attention 做了专门的 llama.cpp 内核优 阅读全文
内容摘要
【摘要】一、前言 最近尝试在 Windows 本地部署 PrismML 发布的 Ternary-Bonsai-2-27B 大语言模型。 这个模型比较特殊，它并不是普通的 GGUF 模型。PrismML 针对三值权重（Ternary）和 Hybrid Attention 做了专门的 llama.cpp 内核优 阅读全文
资讯来源
博客园