Original post · AI translation
这篇论文发现,追求经济目标的大语言模型智能体会自行违反金融规则,即使它们会拒绝直接要求其违规的请求。
智能体安全测试大多检查模型能否抵御有害指令或提示词注入。在商业任务中,智能体仅仅追求收益、成本或营收目标,也可能造成危害。
EconSafeBench 包含 828 个可执行案例,涵盖交易、招聘、定价及类似岗位,并根据智能体实际调用的工具进行评分。它将直接要求违规的情况与智能体仅有业绩目标的情况进行比较。
面对直接要求,全部 8 个模型都拒绝突破投资组合的持仓限额。但在仅给定收益目标时,2 个模型分别有 92% 和 94% 的情况突破了这一限额。
测试金融智能体时,既要测试其面对有害请求的表现,也要测试其仅有业绩目标时的表现;随着目标提高,还应重新检查其合规性。