返回 AI 资讯
社区讨论LinuxDo 最新

跑本地LLM,做了一轮调研,想听听佬友的意见

佬友们 我还是在幻想,本地LLM 有没有搞头 目前手里一台垃圾笔记本, 最近想换一台电脑,主要用途不是传统办公或者游戏,而是想认真折腾一下本地 LLM / Coding Agent / Agent Loop。 预算大概 8K~1.2W RMB,如果确实有明显提升也可以再往上,再多就用官方了。。。 我的需求 主要是: Coding Agent / Agent Loop 多终端同时调用 RAG、文件分析、代码修改、测试等 现有设备 i5-12400 MSI MAG B660M MORTAR WIFI DDR4 DDR…

内容摘要

作者:#王多鱼 板块:#搞七捻三 佬友们 我还是在幻想,本地LLM 有没有搞头 目前手里一台垃圾笔记本, 最近想换一台电脑,主要用途不是传统办公或者游戏,而是想认真折腾一下本地 LLM / Coding Agent / Agent Loop。 预算大概 8K~1.2W RMB,如果确实有明显提升也可以再往上,再多就用官方了。。。 我的需求 主要是: Coding Agent / Agent Loop 多终端同时调用 RAG、文件分析、代码修改、测试等 现有设备 i5-12400 MSI MAG B660M MORTAR WIFI DDR4 DDR4 32GB Intel Arc A770 16GB 850W 电源 想法是 再买一张 A770,搞: A770 16GB × 2 32GB VRAM 至少 30B/35B Q4 模型,能用 所以 问题来了,本地大模型是不是 “镜花水月” 只能看不能摸 在 8K~1。2W RMB 预算下: 方案 我目前预期 Decode 优势 现有 A770 16GB 10~22 tok/s 不花钱(能跑都是奇迹) A770 ×2 + 64GB 25~40+ tok/s 32GB VRAM 358H + 64GB 25~35 tok/s 梦中情人(太贵啦!!!) 358H + 96/128GB 30~40+ tok/s 压根没有这玩意 下一代 400H + 64/96/128GB 未知 等等党永远不输 M 系列 Max 64GB 40~45 tok/s 左右 统一真神 NVIDIA 大显存卡 50 tok/s+ CUDA 生态 这些数字目前有些是公开实测,有些是根据已有数据做的估算,我不把它当最终结论。 想听听佬友 对于本地llm的看法和意见。(求求热)

资讯来源

LinuxDo

原文链接

打开原文