返回 AI 资讯
社区讨论LinuxDo 最新

本地布置qwen3.8-27b有必要吗?

打算买2张2080ti,搞一个qwen3.8-27b量化版本,可能Q4或者Q6吧。你觉得有没有必要?听说现在优化得很好了,可以到160tokens/s了,我想用来处理一些日常简单的任务,有没有必要?不必考虑电费。 想请教一下:这个相当于claude或gpt的什么水平?256k的上下文够干什么?

内容摘要

作者:#sandy 板块:#搞七捻三 打算买2张2080ti,搞一个qwen3.8-27b量化版本,可能Q4或者Q6吧。你觉得有没有必要?听说现在优化得很好了,可以到160tokens/s了,我想用来处理一些日常简单的任务,有没有必要?不必考虑电费。 想请教一下:这个相当于claude或gpt的什么水平?256k的上下文够干什么?

资讯来源

LinuxDo

原文链接

打开原文