论文用双人博弈分析 AI 递归自我改进竞赛的风险条件

本文认为，目前还没有人能断言递归式自我改进是安全的，因为我们甚至缺乏一种清晰的方式来思考它会走向何方。

递归式自我改进，简称 RSI，指一个 AI 构建出更好的 AI，后者再构建出更好的 AI，如此循环。AI 公司正开始追求这一目标，但对于它何时才算安全，各方尚无共识。

作者作为一名普通用户，仅凭 1 条高层次提示，就让一个 AI 从零开始训练了一个小型大语言模型。在一场 https://t.co/I8EjyOkuK6 安全研讨会上，专家们列出了差异很大的 RSI 实施条件，因为他们设想的结果截然不同。

他的 2 人博弈模型表明，RSI 竞赛只在某些风险水平下才构成囚徒困境。在高风险下，双方都选择克制是一种稳定的结果，因此共同等待可能奏效。