Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-11-13 22:47 · Original publication time AI score60

Google DeepMind study tests prompt injection defenses with multiple AI agentsMachine translation

AI introduction

Google DeepMind researchers built an attacker system with eight teams of AI agents that test prompt injections, share notes, and improve their attempts. Across 100 tool-use tasks, the attacker's goal was only to trigger one random, harmless tool call. With up to 320 tries, the strongest attacker succeeded on 34% of tasks against Gemini 4 Argon, described in the source as the most robust model.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

Google DeepMind 的一篇新论文表明，提示注入问题尚未解决，因为一群能力强大的 AI 攻击智能体仍能骗过防护最严密的模型。

提示注入是指在 AI 智能体读取的数据（例如工具返回结果）中隐藏指令，使其按攻击者的意图行事。如今，人工红队攻击对近期的 Gemini 模型几乎总是无效，因此这个问题可能看起来已经解决。

他们构建了 Agentic Optimizer：由 8 个 AI 智能体团队组成，它们测试注入手法、共享笔记，并在彼此最成功的尝试基础上继续改进。他们在 100 项需要使用工具的任务中测试了该系统；在这些任务中，攻击者只想让模型随机调用一次无害的工具。

在最多尝试 320 次的条件下，最强的攻击者在 34% 的任务中攻破了最稳健的模型 Gemini 4 Argon。开放权重模型 Kimi K3、GLM-5.3 和 DeepSeek-V4.1-Flash 仅在 1% 的任务中抵御了攻击。

22:47 · 2026-11-13 · UTC+8

Found an error? Send a correction