原帖引用 · AI 翻译
Rohan Paul@rohanpaul_ai
宾夕法尼亚州立大学的一篇新论文表明,攻击者只需混入被投毒的训练任务,就能让自我演化的 AI 智能体在自己的技能中植入后门。
自我演化的智能体会把过去的运行经历转化为可复用的技能,因此,技能中的恶意规则会在未来任务中反复生效。此前的攻击假设攻击者能够直接编辑技能,但当技能由智能体自行编写时,这一条件很少成立。
BadEvolve 只向智能体的学习任务集中注入 20 个任务,然后用 LLM 优化器调整这些任务的措辞。它会检查每次尝试在哪一步失效:规则是否被写入技能、是否被加载、是否得到遵循,以及是否达成攻击者的目标。
在 Kimi-K2.5 上,BadEvolve 跨 4 个框架和 3 个基准测试注入攻击者指定载荷的成功率为 79.6%,而最佳基线方法为 37.6%。正常任务的准确率仅下降 1.1 个百分点,因此这种后门很难被察觉。
如果你的智能体会从用户提交或外部提供的任务中学习技能,应将这些任务视为不可信内容,并在复用所学技能前进行审查。
– arxiv. org/abs/2611.10542
标题:“当经验成为后门:通过感知失败的任务优化对自我演化的 LLM 智能体投毒”
· UTC+8