Article · AI translation
尽管外界的注意力大多集中在 Anthropic 周一修订的 S-1A 文件中披露的最新财务数据上（收入正飙升，但支出也在飙升），这家人工智能实验室还在文件的细则中抛出了另一个重磅消息。
这份申报文件似乎警告称，该公司即将创造出一种具备递归自我改进（RSI）能力的模型。
RSI 指的是人工智能变得如此擅长训练自身，以至于人工智能能力急剧加速提升的临界点。对担忧人工智能末日的人来说，RSI 意味着一场无法挽回的灾难：人工智能将自身发展到足够强大的程度，摆脱人类控制，并且在实现自身目标时可能对其造成的损害漠不关心。
对人工智能爱好者来说，RSI，或某种人工智能可靠地利用自身进行改进的形式，代表着这项技术的前景：它将成为带来难以想象的生产力、科学发现等成果的工具。
Anthropic 似乎认为，RSI 既蕴含希望，也存在危险。该公司在 S-1 文件中表示，它在研发中使用人工智能，但同时警告：“利用人工智能帮助构建能力更强的人工智能也可能带来相当大的安全风险，尤其是在它使进步速度急剧加快的情况下。这是我们的‘负责任扩展政策’涵盖的领域之一。该政策阐明了我们在接近所谓‘递归自我改进’时监测和减轻风险的计划。”
今年早些时候，当 RSI 一词流行起来时，许多人认为它只是一个流行词，或者充其量只是一个难以实现、定义或证实的目标。
但周一，Anthropic 在其“风险因素”章节中新增了表述，称：1）它已经利用人工智能开发新模型，但当时并未察觉这些模型能力的跃升；2）它可能很快达到其内部对 RSI 的定义（下文加粗强调为我们所加）：
此外，我们越来越多地使用人工智能系统来加速自身研发，这可能导致我们模型的能力提升速度超过我们开发、验证和实施相应安全、对齐及安保措施的速度。因此，我们过去曾未能及时识别研发速度的显著加快，未来也可能要等到这种加快发生后才能识别。
例如，我们的内部估计以及我们对未来模型而非当前模型的预期表明，我们可能即将达到《负责任扩展政策》中对“可归因于人工智能的显著加速进展”的定义。我们尚未认定任何当前模型超过这一门槛，并且仍在评估基础数据。
此外，我们越来越多地使用人工智能系统来加速自身研发，这可能导致我们模型的能力提升速度超过我们开发、验证和实施相应安全、对齐及安保措施的速度。因此，我们过去曾未能及时识别研发速度的显著加快，未来也可能要等到这种加快发生后才能识别。
例如，我们的内部估计以及我们对未来模型而非当前模型的预期表明，我们可能即将达到《负责任扩展政策》中对“可归因于人工智能的显著加速进展”的定义。我们尚未认定任何当前模型超过这一门槛，并且仍在评估基础数据。
不过，Anthropic 也在申报文件中表示，其模型尚无任何一个跨过这一 RSI 门槛，并承诺在可预见的未来让人类继续参与研发过程。“即使未来在技术上可以让 Claude 完全自主地设计和构建一代又一代前沿模型，如果没有人类进行有意义的监督或理解，我们预计也无法安全地这样做。因此，我们正在考虑更新《负责任扩展政策》，以确保人类继续掌控 Anthropic 的前沿模型开发。”
怀疑者可能会指出，S-1 文件既用于信息披露，也用于营销；声称即将开发出强大到能够自行构建自身的模型，可能属于后者。
尽管如此，毫无疑问，Claude 的能力，尤其是在编程、数学和网络安全方面，今年取得了突飞猛进的进步。如果 Anthropic 认为递归自我改进（RSI）即将成为可能，也许我们应该相信它，并据此采取行动——或许还应据此制定监管措施。