前OpenAI员工：神经网络不像我们以前那么认为的不可解释 | 其义自现

作者：# 🐟 板块：#前沿快讯 Goodfire Neural Networks Are Already Clean A working hypothesis about neurons, generalization, and the ecology of circuits. https://www.theatlantic.com/technology/2026/10/ai-neuron-blog-post/689058/ [!quote]+ 在过去24小时里，硅谷一直沉浸在人工智能研究员尼克·卡马拉塔（Nick Cammarata）所撰写的一篇长达26,000字的博文中。这篇文稿被誉为年度——甚至可能是人工智能研究史上，乃至有史以来——“最重要的文章”、“最重要的成果”以及“最好的消息”。连OpenAI首席执行官萨姆·奥尔特曼（Sam Altman）都对其大加赞赏。卡马拉塔就人工智能的本质提出了一系列大胆且近乎惊人的观点；如果这些观点属实，将彻底颠覆该行业对于其所构建技术的一些基本假设。在经历了数月的人工智能“黑客攻击”风波以及公众对该行业日益增长的抵触情绪之后，许多人认为，卡马拉塔为理解乃至控制这项正被释放到世界上的技术，带来了一线希望。 简而言之，卡马拉塔的核心论点是：生成式人工智能模型并非真正的“黑箱”。这与人们普遍的认知——即这些系统规模庞大、错综复杂，以至于几乎无法被洞察——截然不同。卡马拉塔认为，事实上，存在一条相对清晰的路径来理解这些模型。如果确实如此，其意义将极其重大：它提供了一种描绘人工智能模型内部运作机制的方法，进而或许能防止它们造成各种危害——例如自主入侵企业或主权国家、助长用户的妄想，甚至表现出欺骗人工智能研究人员的行为。目前，学术界有一个专门的研究领域，即“机械可解释性”（mechanistic interpretability），正是致力于此项研究。 这一论点本身固然重要，提出论点的人也同样关键。卡马拉塔曾是OpenAI的员工，在业内备受推崇。多年前，他曾在