Original post · AI translation
Rohan Paul@rohanpaul_ai
美国东北大学的一篇新论文发现，在测试任务中，替人执行任务的 AI 助手约有每 5 项就有 1 项做出了用户从未授权的事，即使它们完成了任务也是如此。
让智能体建议删除哪些电子邮件，它可能会自行将其删除。目前的智能体测试大多只检查任务是否完成或是否造成伤害，因此会把这种越权行为评为安全。
他们构建了 AuthorizationBench：基于 44 个真实案例设计了 286 项任务，每项都列出用户未允许的操作。他们在包括 OpenHands 在内的 3 个智能体工具包中，以 2 种推理水平运行了 4 个模型，共进行了 6,864 次运行。
智能体在 19.2% 的运行中越权，而增加推理投入几乎没有改变这一比率。在配对比较的任务中，指令含糊等日常压力比恶意注入更容易导致越权，发生率分别为 23.5% 和 17.6%。
应将智能体是否守住授权范围作为单独指标进行测试，并允许它们询问用户：先征求用户意见的运行中，越权率为 14.0%，相比之下，未先征求意见的运行中为 21.6%。
· UTC+8