返回 AI 资讯
社区讨论LinuxDo 最新

【娱乐向】【SNSE Bench】DeepSeek-V4.1-Flash-1017 测试

1017 出现了一些 0910 没有的问题:T6 的两次 CE。看了一下 1017 的代码,情况是这样的:这是一道多组数据的测试题,题目给了选手在所有数据前预处理一些数据的机会,要求选手将预处理代码写在函数 void init(int c, int t) 里面。模型觉得自己没有需要预处理的东西,没有实现这个函数,于是 CE。 如果修复这个问题,DeepSeek-V4.1-Flash-1017-Max 的成绩将达到 1096 分,成为本榜第一。 本次没跑 pass@3,因此参考价值不大。 如果需要更加严谨的算法竞赛…

内容摘要

作者:#sparklydream 板块:#开发调优 1017 出现了一些 0910 没有的问题:T6 的两次 CE。看了一下 1017 的代码,情况是这样的:这是一道多组数据的测试题,题目给了选手在所有数据前预处理一些数据的机会,要求选手将预处理代码写在函数 void init(int c, int t) 里面。模型觉得自己没有需要预处理的东西,没有实现这个函数,于是 CE。 如果修复这个问题,DeepSeek-V4.1-Flash-1017-Max 的成绩将达到 1096 分,成为本榜第一。 本次没跑 pass@3,因此参考价值不大。 如果需要更加严谨的算法竞赛能力测试,请参考 https://vals.ai 的 IOI 测试。 我做这个 Bench 的原因就是当时缺乏一个严谨且难度足够,未饱和的算法竞赛 Benchmark,但现在 vals.ai 的 IOI 测试很好地填补了这个生态位,且做得比我严谨得多。 之后本榜大概就是娱乐榜单了,不定时更新我想测的模型,且我不会有什么动机去加新题或者换题了。

资讯来源

LinuxDo

原文链接

打开原文
【娱乐向】【SNSE Bench】DeepSeek-V4.1-Flash-1017 测试 · AI 资讯 · AIGOOD - AIGOOD