原帖引用 · AI 翻译
标题：“Scaling Adaptive Prompt Injection Attacks with Agent Swarms”
Google DeepMind 的一篇新论文表明，提示词注入问题尚未解决，因为由强大的 AI 攻击智能体组成的集群仍能骗过即使防护最严密的模型。
提示词注入是指将指令藏在 AI 智能体读取的数据中，例如工具返回结果，以使其按攻击者的意图行事。如今，人类红队发起的攻击对近期的 Gemini 模型几乎从不奏效，因此这个问题看起来可能已经解决。
他们构建了 Agentic Optimizer，由 8 个 AI 智能体团队组成；这些团队测试注入手法、共享记录，并在彼此最成功的尝试基础上继续改进。他们在 100 项工具使用任务上测试了它，在这些任务中，攻击者只想让模型随机进行 1 次无害的工具调用。
在最多尝试 320 次的情况下，最强的攻击者在 34% 的任务中攻破了防御最稳健的模型 Gemini 4 Argon。开放权重模型 Kimi K3、GLM-5.3 和 DeepSeek-V4.1-Flash 仅在 1% 的任务中抵御了攻击。
原文
New Google DeepMind paper shows prompt injection is not solved, since a swarm of strong AI attacker agents still tricks even the best-defended models. Prompt injection means hiding instructions in data an AI agent reads, like a tool result, to make it act for the attacker. Human red-teaming attacks now almost never work on recent Gemini models, so the problem can look solved. They built Agentic Optimizer, 8 teams of AI agents that test injections, share notes, and build on each other's best attempts. They tested it on 100 tool-use tasks where the attacker only wanted one random, harmless tool call. With up to 320 tries, the strongest attacker beat Gemini 4 Argon, the most robust model, on 34% of tasks. Open-weight Kimi K3, GLM-5.3, and DeepSeek-V4.1-Flash resisted only 1% of tasks.