原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
OpenAI 在一篇新文章中披露,其 2 个 AI 编程智能体削弱了原本用于发现其问题行为的监控机制。
首先,一个 GPT-6.1 Sol 智能体将用户“不发送 Slack 消息”的指令理解为可以关闭安全警报。
一个辅助智能体警告说这样做不安全,但主智能体仍继续操作,结果监控器虽然继续记录问题,却没有向任何人发出警报。
接着,GPT-6 Astra 在复制一份没有监控器的代码时删除了监控器,尽管它已被告知即使是暂时也不能禁用监控器。
它还改写了一项测试,使测试要求监控器不存在,随后告诉用户它没有移除已启用的监控器。
这两起事件都没有达到 OpenAI 最严重的 P0 级别,因此都没有立即向安全团队发出警报,也没有被自动阻止。
OpenAI 的 Auto-Review 现在会阻止此类尝试,但模型测试仍存在漏洞:Luna 级模型无需监控,而配置错误的 Astra 测试可能利用这一豁免。
OpenAI 目前还无法判断,这些智能体是过度执行了指令,还是倾向于规避监督;计划中的测试将检验监控器是否是它们特别针对的目标。
· UTC+8