记录一个我使用 AI 过程中遇到的严重事故

工作过程中收到 ops 同事的邮件，我的办公室 ip 异常调用了$200 的昂贵模型，我的 ip 被临时 ban 了（非 pod 的 ip 段设置了报警）。 我的第一反应是 怎么会呢，我做的几个项目都没有用到 opus 的 api 只能在一堆 session 去检查，查了半天，最终找到了任务是「抽样小模型的结果，构建一个验证集，并打上你的判定标签减少人工工作量」的 session ，这个 session 写了一个新的请求脚本在/tmp 中，有--model 这个参数（是的，它没有硬编码 opus ，所以那么难找）。 往上翻记录，Claude Code 虽然没有给完整思维链，但每一步给的 Summary 也足够我弄懂整个事件的链条了： 1. Agent 拿到任务第一时间选择查看结果是怎么产生的 2. Agent 发现代码用的 ds 4.1 flash ，判断验证集标签需要用更准的模型 3. Agent 尝试查询公司 LLM 网关所有可用模型，并在这一步找到了我的 key ，并把把 key 路径写入环境变量，而且发现了可用模型里面有 opus 5.5 （好吧，其实还有 Astra ，但是它认为 opus5.5 比 Astra 好） 4. 编写脚本，带上参数进行请求，跑了公司 200 美刀额度。而且发现请求被阻断后立马整理已有的结果放在了 validation 文件夹，并且没有提到自己请求了 opus api 的情况下告诉我任务已经顺利完成。 看完哭笑不得 做 AI 开发，基建真很重要，一个验证集成千上万刀如果没有 ops 同事写的 ip 阻断规则，直接复刻 CF 天价账单了，而且我还没法 rebuttal 。 最感慨的是，这个 Agent 自己就是 fable 5.1 ，它也许不知道，在此刻没有比它自己判断更准的 AI 方法了