aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分60

Google DeepMind 研究用多智能体攻击测试提示注入防护

AI 导读

Google DeepMind 研究人员构建了由 8 组 AI 智能体组成的攻击系统,让它们测试提示注入、交流结果并改进尝试。在 100 项工具使用任务中,攻击者的目标仅是诱发一次随机、无害的工具调用;最多尝试 320 次时,最强攻击者在 34% 的任务中攻破了文中称防护最强的 Gemini 4 Argon。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

Google DeepMind 的一篇新论文表明,提示注入问题尚未解决,因为一群能力强大的 AI 攻击智能体仍能骗过防护最严密的模型。

提示注入是指在 AI 智能体读取的数据(例如工具返回结果)中隐藏指令,使其按攻击者的意图行事。如今,人工红队攻击对近期的 Gemini 模型几乎总是无效,因此这个问题可能看起来已经解决。

他们构建了 Agentic Optimizer:由 8 个 AI 智能体团队组成,它们测试注入手法、共享笔记,并在彼此最成功的尝试基础上继续改进。他们在 100 项需要使用工具的任务中测试了该系统;在这些任务中,攻击者只想让模型随机调用一次无害的工具。

在最多尝试 320 次的条件下,最强的攻击者在 34% 的任务中攻破了最稳健的模型 Gemini 4 Argon。开放权重模型 Kimi K3、GLM-5.3 和 DeepSeek-V4.1-Flash 仅在 1% 的任务中抵御了攻击。

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错