Back Rohan Paul

Rohan Paul· @rohanpaul_ai · X· 2026-11-11 07:55 · Original publication time AI score47

Paper Uses a Two-Player Game to Examine Risks in the AI Self-Improvement RaceMachine translation

AI introduction

The paper argues that recursive self-improvement cannot yet be called safe because there is no clear way to assess where it leads. Its two-player game suggests the race is a Prisoner's Dilemma only at some risk levels; at high risk, both sides holding back can be a stable outcome.

Original post · AI translation

Rohan Paul@rohanpaul_ai

Translation · refer to the original

本文认为，目前还没有人能断言递归式自我改进是安全的，因为我们甚至缺乏一种清晰的方式来思考它会走向何方。

递归式自我改进，简称 RSI，指一个 AI 构建出更好的 AI，后者再构建出更好的 AI，如此循环。AI 公司正开始追求这一目标，但对于它何时才算安全，各方尚无共识。

作者作为一名普通用户，仅凭 1 条高层次提示，就让一个 AI 从零开始训练了一个小型大语言模型。在一场 https://t.co/I8EjyOkuK6 安全研讨会上，专家们列出了差异很大的 RSI 实施条件，因为他们设想的结果截然不同。

他的 2 人博弈模型表明，RSI 竞赛只在某些风险水平下才构成囚徒困境。在高风险下，双方都选择克制是一种稳定的结果，因此共同等待可能奏效。

07:55 · 2026-11-11 · UTC+8

Found an error? Send a correction