社区讨论LinuxDo 最新
跑本地LLM,做了一轮调研,想听听佬友的意见
佬友们 我还是在幻想,本地LLM 有没有搞头 目前手里一台垃圾笔记本, 最近想换一台电脑,主要用途不是传统办公或者游戏,而是想认真折腾一下本地 LLM / Coding Agent / Agent Loop。 预算大概 8K~1.2W RMB,如果确实有明显提升也可以再往上,再多就用官方了。。。 我的需求 主要是: Coding Agent / Agent Loop 多终端同时调用 RAG、文件分析、代码修改、测试等 现有设备 i5-12400 MSI MAG B660M MORTAR WIFI DDR4 DDR…
内容摘要
作者:#王多鱼
板块:#搞七捻三
佬友们 我还是在幻想,本地LLM 有没有搞头
目前手里一台垃圾笔记本, 最近想换一台电脑,主要用途不是传统办公或者游戏,而是想认真折腾一下本地 LLM / Coding Agent / Agent Loop。
预算大概 8K~1.2W RMB,如果确实有明显提升也可以再往上,再多就用官方了。。。
我的需求
主要是:
Coding Agent / Agent Loop
多终端同时调用
RAG、文件分析、代码修改、测试等
现有设备
i5-12400
MSI MAG B660M MORTAR WIFI DDR4
DDR4 32GB
Intel Arc A770 16GB
850W 电源
想法是 再买一张 A770,搞:
A770 16GB × 2
32GB VRAM
至少 30B/35B Q4 模型,能用
所以 问题来了,本地大模型是不是 “镜花水月” 只能看不能摸
在 8K~1。2W RMB 预算下:
方案
我目前预期 Decode
优势
现有 A770 16GB
10~22 tok/s
不花钱(能跑都是奇迹)
A770 ×2 + 64GB
25~40+ tok/s
32GB VRAM
358H + 64GB
25~35 tok/s
梦中情人(太贵啦!!!)
358H + 96/128GB
30~40+ tok/s
压根没有这玩意
下一代 400H + 64/96/128GB
未知
等等党永远不输
M 系列 Max 64GB
40~45 tok/s 左右
统一真神
NVIDIA 大显存卡
50 tok/s+
CUDA 生态
这些数字目前有些是公开实测,有些是根据已有数据做的估算,我不把它当最终结论。
想听听佬友 对于本地llm的看法和意见。(求求热)
资讯来源
LinuxDo