aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

Penn State 研究:投毒学习任务可让 AI 智能体自行写入后门

AI 导读

研究提出 BadEvolve:攻击者向智能体的学习集注入 20 个任务,并用语言模型优化措辞。在 Kimi-K2.5、4 种框架和 3 项基准测试中,攻击者指定的载荷注入成功率为 79.6%,对照方法最高为 37.6%;正常任务准确率下降 1.1 个百分点。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

宾夕法尼亚州立大学的一篇新论文表明,攻击者只需混入被投毒的训练任务,就能让自我演化的 AI 智能体在自己的技能中植入后门。

自我演化的智能体会把过去的运行经历转化为可复用的技能,因此,技能中的恶意规则会在未来任务中反复生效。此前的攻击假设攻击者能够直接编辑技能,但当技能由智能体自行编写时,这一条件很少成立。

BadEvolve 只向智能体的学习任务集中注入 20 个任务,然后用 LLM 优化器调整这些任务的措辞。它会检查每次尝试在哪一步失效:规则是否被写入技能、是否被加载、是否得到遵循,以及是否达成攻击者的目标。

在 Kimi-K2.5 上,BadEvolve 跨 4 个框架和 3 个基准测试注入攻击者指定载荷的成功率为 79.6%,而最佳基线方法为 37.6%。正常任务的准确率仅下降 1.1 个百分点,因此这种后门很难被察觉。

如果你的智能体会从用户提交或外部提供的任务中学习技能,应将这些任务视为不可信内容,并在复用所学技能前进行审查。

– arxiv. org/abs/2611.10542

标题:“当经验成为后门:通过感知失败的任务优化对自我演化的 LLM 智能体投毒”

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错