社区讨论LinuxDo
竟然还能这么测模型能力吗???
竟然还能这么测模型能力吗??? 起因是刷到 Karpathy 大佬转载的一篇用“画地球”来测模型能力的帖子,感觉挺有意思的。 方法挺简单的,就是取大量经纬度坐标,挨个问模型“某某某坐标是陆地还是水?”。 然后问 16200 次就可以画出一张模型认为的 🌏️ 地图。 X 截图 (点击了解更多详细信息) ---------------------- 看了看 A\ 家模型的结果,似乎真能测出来些啥? Sonnet 4.5 和 Haiku 4.5 都拉完了。到 4.6 代之后感觉地图突然就成型了。 Fable 级和 Op…
内容摘要
竟然还能这么测模型能力吗???
起因是刷到 Karpathy 大佬转载的一篇用“画地球”来测模型能力的帖子,感觉挺有意思的。
方法挺简单的,就是取大量经纬度坐标,挨个问模型“某某某坐标是陆地还是水?”。
然后问 16200 次就可以画出一张模型认为的 🌏️ 地图。
X 截图 (点击了解更多详细信息)
----------------------
看了看 A\ 家模型的结果,似乎真能测出来些啥?
Sonnet 4.5 和 Haiku 4.5 都拉完了。到 4.6 代之后感觉地图突然就成型了。
Fable 级和 Opus 5.5 又跟其他的拉开了差距。
到 Opus 5.5 基本就是完全复刻了。
----------------------
然后自己用百炼的 1M 免费额度测了一些国产模型,还测了下 用不完了发点福利,50000刀jev模型随便用 里面的 jev(感谢佬),测一个大概消耗 0.7 ~ 1.2M token。
deepseek-v4.1-flash 果然真神。从 v4 到 v4.1 变化巨巨巨明显。
其他模型的话,从 kimi-k3 开始基本能看到一些形状了。
deepseek-v4-pro 就基本拉完了,像一坨弄*。还不如 v4 flash。
大家觉得好玩也可以去测测hhh
23 个帖子 - 15 位参与者
阅读完整话题
via LINUX DO - 热门话题 (author: NowwwW)
相关链接:
https://linux.do/t/topic/2982918/1
https://linux.do/t/topic/2970200
https://linux.do/t/topic/2982918