aifollow.news
← 新闻
事件 · 变更 Claude

New Amazon paper finds that saved agent skills can hurt once the environment changes, and checking and repairing them se

研究测试Claude Opus 4.7和Haiku 4.5后发现,环境变化使Opus在Terminal-Bench 2上使用旧技能时的通过率低于不使用技能,而维护技能将Haiku的税表字段准确率从30.5%提高到97.5%。

1 篇报道1 个来源

报道 1

Rohan Paul (@rohanpaul_ai)

Amazon 研究发现:环境变化后,旧版智能体技能可能拖累任务表现

Amazon 的论文测试了 Claude Opus 4.7 和 Haiku 4.5 在四种环境变化前后的表现。Terminal-Bench 2 中,一项原本让 Opus 通过率提高 4.7 个百分点的技能,在环境变化后反使通过率比不用技能低 11.4 个百分点;有选择地检查并修复冲突内容,可恢复旧技能的价值。

来源Rohan Paul (@rohanpaul_ai) ↗