返回 AI 资讯
社区讨论LinuxDo 最新

怎么从互联网拼出一个模型的真实(可能)能力?

最近经常看到各种询问模型哪个好用的帖子,我想大家不会每个模型都用一遍,订阅订错了也很亏钱,所以我来分享一下和我主观感觉接近的榜单和怎么通过云测评来云出一个大概率不会出错的答案,方便各位选型和更好的使用模型。 (防止查户口叠甲,本人是大部分模型感兴趣都会用用的类型,持有devin gpt claude glm command code google pro订阅,没有订阅的会通过白嫖渠道使用,平时评论推荐主要出于主观感受,以下内容也是纯主观感受,任何问题友好交流指正) 古德哈特定律:一个指标变成目标时,它就不再是一个…

内容摘要

作者:#mi tu 板块:#搞七捻三 最近经常看到各种询问模型哪个好用的帖子,我想大家不会每个模型都用一遍,订阅订错了也很亏钱,所以我来分享一下和我主观感觉接近的榜单和怎么通过云测评来云出一个大概率不会出错的答案,方便各位选型和更好的使用模型。 (防止查户口叠甲,本人是大部分模型感兴趣都会用用的类型,持有devin gpt claude glm command code google pro订阅,没有订阅的会通过白嫖渠道使用,平时评论推荐主要出于主观感受,以下内容也是纯主观感受,任何问题友好交流指正) 古德哈特定律:一个指标变成目标时,它就不再是一个好指标。 指标原本是某个真实目标的代理。一旦它变成考核标准,人们就会直接优化这个代理本身,而不是它背后真正想要的东西。 所以首先我们排除所有出现在模型发布页的跑分表,除tb4这种新榜测旧模的情况以外 一切发布前测试的跑分榜单都有刷分风险,况且我想论坛内大部分都是使用ai写代码的,很多跑分场景其实和正常工作场景差很多,我列一下我常看的榜单。 FrontierCode,cognition的榜单是比较贴近工程师思维的榜单,测试不同模型不同思考等级写的代码的pr的可合并性,可以说非常贴近大部分码农的使用场景,也是我觉得最值得参考的榜单。 cursorbench,什么?你想要一个许愿机不想写一堆描述?Cursor通过采集用户数据发现他的用户们也这么想,所以榜单的核心是真实人机交互与模糊意图理解,意图推断多重要我想用过opus5.5许愿机的都懂。 nao榜,这个榜单的测试集我也了解不多只知道作者在混元上班,且群众认可度高,国模比较全,我想这么小众的榜单没有模型会针对刷分吧?注意如果你是代码区,那么看的是Agentic部分,代表是在非主流语言和复杂系统架构下的能力表现。 AA的写作榜,可以当成说人话模型的排行榜,这榜单的opus4.6能看出这大半年各大厂商训练的侧重点…我们rp区的未来… 通过以上榜单对照参考,通过侧重点选型后呢,就到了思考等级的问题,同一个模型的不同思考等级先不说能力,成本差距和完工速度可以说是巨大的,参考opus5.5,xhigh

资讯来源

LinuxDo

原文链接

打开原文
怎么从互联网拼出一个模型的真实(可能)能力? · AI 资讯 · AIGOOD - AIGOOD