aifollow.news
Back Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · Original publication time AI score54

Penn State study finds poisoned learning tasks can make AI agents write their own backdoorsMachine translation

AI introduction

The study introduces BadEvolve, which injects 20 tasks into an agent’s learning set and uses an LLM to optimize their wording. On Kimi-K2.5 across four frameworks and three benchmarks, it injected an attacker-chosen payload 79.6% of the time, versus 37.6% for the best baseline; clean-task accuracy fell by 1.1 points.

Original post · AI translation

@rohanpaul_ai
Translation · refer to the original

宾夕法尼亚州立大学的一篇新论文表明,攻击者只需混入被投毒的训练任务,就能让自我演化的 AI 智能体在自己的技能中植入后门。

自我演化的智能体会把过去的运行经历转化为可复用的技能,因此,技能中的恶意规则会在未来任务中反复生效。此前的攻击假设攻击者能够直接编辑技能,但当技能由智能体自行编写时,这一条件很少成立。

BadEvolve 只向智能体的学习任务集中注入 20 个任务,然后用 LLM 优化器调整这些任务的措辞。它会检查每次尝试在哪一步失效:规则是否被写入技能、是否被加载、是否得到遵循,以及是否达成攻击者的目标。

在 Kimi-K2.5 上,BadEvolve 跨 4 个框架和 3 个基准测试注入攻击者指定载荷的成功率为 79.6%,而最佳基线方法为 37.6%。正常任务的准确率仅下降 1.1 个百分点,因此这种后门很难被察觉。

如果你的智能体会从用户提交或外部提供的任务中学习技能,应将这些任务视为不可信内容,并在复用所学技能前进行审查。

– arxiv. org/abs/2611.10542

标题:“当经验成为后门:通过感知失败的任务优化对自我演化的 LLM 智能体投毒”

Source: Rohan Paul · x.com

Research
Found an error? Send a correction