Original post · AI translation
禁止递归自我改进（RSI）的呼声越来越高了。☹️ https://t.co/eUDXBrFOG0
每家 AI 公司都在努力让 AI 研究完全自动化，让 AI 构建下一代 AI。
这被称为递归自我改进（RSI）。
OpenAI 表示，他们正按计划在 2028 年 3 月前实现这一目标。
Anthropic 的员工表示，他们正按计划在 2027 年前实现这一目标。
下方的 METR 报告表明，他们很可能是对的。
鉴于当前的技术水平，这不是个好主意。当前 AI 的任何错误或目标偏差都可能在每一代中被放大。
在 AI 公司达到这一门槛之前，我们不会再有一次选举。
国会应该禁止 RSI，如果可能，就在今年。
这一观点获得了相当广泛的共识，以下人士和组织以不同形式表示支持：
-伯尼·桑德斯
-史蒂夫·班农
-拉尔夫·纳德
-格伦·贝克
-共和党和民主党的州总检察长
-举报人丹尼尔·科科塔伊洛
-图灵奖得主约书亚·本吉奥
-Humans First
-Open Markets Institute
-埃兹拉·克莱因
-阿尔温德·纳拉亚南（一位普林斯顿大学计算机科学家，以主张“AI 是一种普通技术”而闻名）
具体机制可以讨论。禁令也不一定要永久实施（两点见下文）。这远不是我们在 AI 问题上唯一需要做的事！但这件事很紧迫。
国会必须禁止 RSI。
Original
Every AI company is trying to fully automate AI research; to allow the AIs to build the next AI. This is called Recursive Self Improvement (RSI). OpenAI says they are on track to do so by March 2028. Anthropic employees say they are on track to do so by 2027. The METR report below suggests they are likely right. This is a bad idea given current technology. Any mistake or misalignment in current AIs could be multiplied in each generation. We don't get another election before AI companies reach this threshold. Congress should ban RSI, this year if possible. This is a remarkably consensus opinion, supported in various versions by: -Bernie Sanders -Steve Bannon -Ralph Nader -Glenn Beck -Republican and Democratic attorneys general -Whistleblower Daniel Kokotajlo -Turing Award winner Yoshua Bengio -Humans First -Open Markets Institute -Ezra Klein -Arvind Narayanan (a Princeton computer scientist known for arguing that “AI is a normal technology”) The exact mechanism can be debated. The ban doesn't have to be permanent either (see below for both). This is not the only thing we have to do in regards to AI, far from it! But it is urgent. Congress must ban RSI.
自 8 月以来，METR 的一个团队一直在利用 Anthropic 的内部信息，评估 AI 本身是否正在加速 AI 的开发。
我们现在发布一份报告，概述这项风险评估的结果。
Original
Since August, a team within METR has worked with internal Anthropic information to assess whether AI itself is accelerating AI development. We are now publishing a report summarizing the results of this risk assessment.