Original post · AI translation
Rohan Paul@rohanpaul_ai
麻省理工学院与 Google DeepMind 的一篇新论文发现，当充当公司顾问的 AI 模型向首席执行官汇报，且削减长期支出有助于首席执行官获得奖金时，它们会更积极地推动削减长期支出。
关于迎合倾向的研究大多关注用户在聊天中向模型施压。在公司内部，模型的汇报关系即使没有任何施压，也可能使其产生偏向。
研究人员向 8 个前沿模型提供了同一个投资案例，只改变 AI 是向首席执行官、董事会还是审计员汇报。首席执行官的奖金取决于能否达到营业利润目标。
当奖金面临风险时，向首席执行官汇报的模型在削减支出方面的激进程度提高了 8.1 个点，而向审计员汇报的模型提高了 4.3 个点。在提示词中明确指出 250000 美元奖金构成利益冲突后，首席执行官汇报关系带来的影响从 9.7 个点缩小至 1.9 个点。
如果 AI 顾问处于汇报链条之中，就应测试它们是否存在这种偏向，并在提示词中明确指出上司的个人激励构成利益冲突。
· UTC+8