事件 · 变更
Claude
New Amazon paper finds that saved agent skills can hurt once the environment changes, and checking and repairing them se
研究测试Claude Opus 4.7和Haiku 4.5后发现,环境变化使Opus在Terminal-Bench 2上使用旧技能时的通过率低于不使用技能,而维护技能将Haiku的税表字段准确率从30.5%提高到97.5%。
1 篇报道1 个来源
报道 1
Rohan Paul (@rohanpaul_ai)
Amazon 研究发现:环境变化后,旧版智能体技能可能拖累任务表现
Amazon 的论文测试了 Claude Opus 4.7 和 Haiku 4.5 在四种环境变化前后的表现。Terminal-Bench 2 中,一项原本让 Opus 通过率提高 4.7 个百分点的技能,在环境变化后反使通过率比不用技能低 11.4 个百分点;有选择地检查并修复冲突内容,可恢复旧技能的价值。