aifollow.news
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time AI score40

Anthropic says its next model may soon reach a threshold for AI-driven research accelerationMachine translation

Anthropic 称下一代模型可能很快触及 AI 自我加速研发门槛

AI-assisted summary

Anthropic says it is increasingly using AI to speed up its research. Based on internal estimates and expectations for its next model, it may soon reach what its policy calls “explosive technological progress driven by AI.” The company says no current model has crossed that threshold, the underlying data remains under review, and it is considering a policy revision to keep humans in control of frontier model development.

Article · Original

IT之家 11 月 3 日消息,外界的目光大多集中在 Anthropic 周一更新的 S-1/A 招股补充文件披露的最新财务数据上(营收暴涨,支出同样激增),但这家人工智能实验室在文件小字部分抛出了另一枚重磅信息。

这份申报文件似乎发出警示:该公司即将研发出具备递归自我改进(RSI)能力的模型。

递归自我改进,指人工智能的自我训练能力达到极高水平,进而推动自身能力爆发式增长的阶段。对于人工智能风险悲观派而言,递归自我改进是一场无法逆转的灾难:人工智能将自我进化到足以脱离人类掌控的强大程度,并且在实现自身目标的过程中,可能对其所造成的损害无动于衷。

而在人工智能乐观者看来,递归自我改进,或是 AI 稳定实现自我优化的相关形态,代表这项技术的巨大潜力,届时它将成为释放超高生产力、助力科学发现等诸多领域的强大工具。

Anthropic 的态度是,递归自我改进既是机遇,也暗藏风险。其在招股文件中写道,公司已经将 AI 用于研发工作,同时做出提醒:“借助 AI 开发能力更强的 AI,也可能带来重大安全风险,尤其是当它大幅加快技术迭代速度的时候。这也是我们《负责任扩缩策略》覆盖的领域之一,这份文件规划了相关方案,在我们逐步接近所谓‘递归自我改进’状态时,对风险进行监测与缓释。”

IT之家注意到,递归自我改进这个概念在今年早些时候走红时,很多人认为它只是一个热词,往好里说,也只是一个很难落地、难以界定、无法证实的目标。

但周一,Anthropic 在风险提示板块新增了表述,主要两点:一、公司已经利用 AI 开发出新模型,部分模型能力实现跃升,但当时团队并未察觉;二、公司可能很快就会触达其自身定义里的递归自我改进标准:

此外,我们越来越多地借助 AI 系统加快自身研发进度,这有可能让模型能力的提升速度,超过我们配套开发、验证、落地安全、对齐与防护方案的速度。因此,我们过去曾没能及时发现研发速度的大幅提升,未来也有可能在这类提速发生之后才察觉。

举例来说,基于内部测算以及对下一代模型的预期(而非现有模型),我们可能很快就会触及《负责任扩缩策略》里定义的“由 AI 带来的爆发式技术进展”。目前我们认定,还没有任何一款现有模型越过这条红线,相关基础数据仍在持续评估当中。

不过 Anthropic 也在文件中说明,旗下所有模型暂未跨过递归自我改进的门槛,并且承诺在可预见的未来,研发流程会保留人类参与。“即便未来技术上可以实现,我们也不打算在缺少有效人工监督、无法充分理解相关过程的前提下,安全地让 Claude 完全自主设计、迭代前沿大模型。因此,我们正考虑修订《负责任扩缩策略》,保证前沿模型的开发始终由人类掌控。”

持怀疑态度的人会指出,S-1 招股文件兼具信息披露和宣传属性,宣称即将做出能够自我迭代的超强模型,或许只是宣传话术。

但不可否认,Claude 今年的能力,尤其是编程、数学和网络安全方面,实现了跨越式提升。如果 Anthropic 判断递归自我改进近在眼前,或许我们应当重视这个判断,并据此采取行动,搭建对应的监管规则。

Found an error? Send a correction