社区讨论LinuxDo 最新
尝试用GTX 1650跑本地大模型belike：
rt，显存只有4GB的GTX 1650，尝试了： NAME ID SIZE MODIFIED huihui ai/deepseek-r1-abliterated:1.5b d536977cfb9e 1.1 GB 3 hours ago huihui ai/llama3.2-abliterate:3b 2ffe056672b5 2.2 GB 3 hours ago huihui ai/qwen2.5-abliterate:3b 7eac36b0fdba 1.9 GB 3 hours ago qwen2.5-code…
内容摘要
作者：#ziqianou
板块：#开发调优
rt，显存只有4GB的GTX 1650，尝试了：
NAME ID SIZE MODIFIED huihui_ai/deepseek-r1-abliterated:1.5b d536977cfb9e 1.1 GB 3 hours ago huihui_ai/llama3.2-abliterate:3b 2ffe056672b5 2.2 GB 3 hours ago huihui_ai/qwen2.5-abliterate:3b 7eac36b0fdba 1.9 GB 3 hours ago qwen2.5-coder:1.5b d7372fd82851 986 MB 3 hours ago qwen2.5-coder:3b f72c60cabf62 1.9 GB 3 hours ago
其中qwen2.5出现一直重复问题，用opencode调用所有模型均有上下文丢失问题
还是没钱买新电脑，跑跑api得了（虽然api也很贵）
资讯来源
LinuxDo