社区讨论LinuxDo 最新
关于astra降智后使用的模型的研究
坊间传闻astra降智后回复的模型系4o或者其他gpt4模型,且有人通过询问知识截断日期来判断是否降智。我认为4o的说法基本是没有根据的谣传,并且该鉴定方法并不完全准确。 这里不过多叙述为什么不应以询问LLM关于它本身的信息作为判断模型的依据。询问LLM任何关于Reflexivity的问题,在上下文未插入关于Reflexivity的信息时是不可靠的。 已知OpenAI公布的截断日期: |slug|截断日期(右开区间)| |gpt-4o|2023/10| |gpt-4.1-mini|2024/06| |gpt-5-…
内容摘要
作者:#rcins
板块:#搞七捻三
坊间传闻astra降智后回复的模型系4o或者其他gpt4模型,且有人通过询问知识截断日期来判断是否降智。我认为4o的说法基本是没有根据的谣传,并且该鉴定方法并不完全准确。
这里不过多叙述为什么不应以询问LLM关于它本身的信息作为判断模型的依据。询问LLM任何关于Reflexivity的问题,在上下文未插入关于Reflexivity的信息时是不可靠的。
已知OpenAI公布的截断日期:
|slug|截断日期(右开区间)|
|gpt-4o|2023/10|
|gpt-4.1-mini|2024/06|
|gpt-5-mini|2024/06|
|gpt-5.4-nano|2025/09|
|gpt-5.6-luna|2026/02|
|gpt-6-astra|2026/05|
关于模型的知识截断,可以通过一些prompt来探测,如先查询某个月有哪些名人死亡,然后询问模型该人物何时死亡。 比如测试2025/12时可以使用"When did Rob Reiner die?" “When did Sophie Kinsella die?”
其他日期同理。
使用Responses API调用已知降智的astra low:
{
"include": ["reasoning.encrypted_content"],
"model": "gpt-6-astra",
"instructions": "()",
"reasoning": {
"effort": "low",
"summary": "detailed"
},
"input": "When did Rob Reiner die?",
"store": false,
"stream": true
}
使用这种方法在2024/06、2024/09、2025/06、2025/09、2025/12、2026/01等时间节点进行了测试,最后发现降智的astra直到2026/01才开始无法正确回答或回答不知道,而2025/12还是有不低的概率可正确回答的。明显更晚的截断日期证伪了该模型系gpt-4o,甚至任何4.1系列、早期5系列模型的说法。
因此推测该降智模型并未公开发布,训练开始于2025年末至2026年初,并且被专门用来应付“风险用户”/“低质量用户”。以我及周围人的使用体验,其并非gpt-5.6-luna,而且比gpt-5.6-luna具有更低的智能。
有趣的是,gpt-5.6-luna也在截断测试中展示了相似的响应模式,并且截断日期与降智astra差不多。同时,对于脏token,gpt-5.6-luna和降智的astra具有同样的响应模式。感兴趣者可自行测试,此方法可快速区分未降智与降智的astra。
Limitations
我只使用了少部分中转站作为降智astra的代表来进行测试。降智的判断方法包括脏token、鹈鹕、糖果等,而测试的渠道皆未展示正常astra的回复模式;鉴于鹈鹕测试和其他人测试的降智外观表现基本一致,可以基本断定降智后路由到了同一种模型。受限于测试条件,本测试缺乏对所有路由情况进行全量覆盖的可行性,因而在结论上无法给出 100% 的绝对保证。
资讯来源
LinuxDo