aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分60

METR 发布 Anthropic 内部评估,探查 AI 是否在加速模型研发

AI 导读

METR 表示,其团队自去年 8 月起使用 Anthropic 内部信息,评估 AI 是否正在加速 AI 开发,现已发布风险评估报告。一则引用该报告的帖文称,Anthropic 模型改进速度约为 2024 至 2025 年间的两倍,METR 估计当前加速约 80% 与 Anthropic 自身使用 AI 有关;帖文也称,Anthropic 遮盖了大部分被 METR 认为最有说服力的证据。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

https://t.co/SXYz4UztEW

回复Rohan Paul@rohanpaul_ai
译文
METR 的最新报告揭示了很多信息。 Anthropic 的递归自我改进(RSI)已从理论走向扎实的测量,早期循环的速度已达到约 2 倍。 此前,他们花了 11 周查阅 Anthropic 的内部研发数据,并采访了其主要研究人员。 > Anthropic 如今改进模型的速度约为其 2024 年至 2025 年水平的 2 倍。 > Claude 本身是主要推动力。METR 的最佳估计是,当前加速中约 80% 归因于 Anthropic 自身对 AI 的使用,并排除了训练算力增长加快这一原因。 > Anthropic 自己在 8 月公开发布的风险报告低估了进展速度。METR 在另一项审查中将公开报告与非公开版本及其他非公开数据进行比较后,得出了这一结论。 > METR 没有发现任何可能在 12 个月内减缓这一循环的因素;算法、算力或数据方面都不存在瓶颈。经删节的证据还暗示,加速幅度可能已经超过 2 倍,并将继续上升。 > 员工自报使用 Model 4 后生产力提高约 12 倍,研究人员也看到了 AI 独立完成关键训练工作的“初步迹象”。一名研究人员称,Mythos Preview 是第 1 个可用于自主实验的模型。 > Anthropic 删去了 METR 认为最有说服力的大部分证据,称这些证据可能帮助竞争对手加快进展。它还在一项原计划开展的核查进行到一半时取消了该核查;核查旨在了解其算力如何在能力提升与安全工作之间分配。
原文

So much revelation from METR's latest report. Recursive self-improvement (RSI) at Anthropic has moved from theory to solid measurement, and the early loop already runs at about 2x. After they spent 11 weeks going through Anthropic’s internal R&D data and interviewing its key researchers. > Anthropic is now improving its models at about twice its 2024 to 2025 pace. > Claude itself is the main engine. METR’s best guess puts about 80% of current acceleration on Anthropic’s own AI use, and it rules out faster growth in training compute as the cause. > Anthropic’s own public August risk report understated how fast things were moving. METR reached that conclusion in a separate review that compared the public report with the private version and other nonpublic data. > METR saw nothing likely to slow this loop within 12 months, with no bottleneck in algorithms, compute or data. Redacted evidence also hints that acceleration may already exceed 2x and keep climbing. > Staff self-report roughly 12x productivity gains from Model 4, and researchers see “signs of life” for AI doing key training work alone. One called Mythos Preview the first model useful for autonomous experiments. > Anthropic redacted most of the evidence METR found most telling, saying it could help rivals go faster. It also canceled midway a planned check of how its compute splits between capabilities and safety.

在 X 查看这条帖子 ↗
相关上下文METR@METR_Evals
译文
自 8 月以来,METR 内部的一个团队一直利用 Anthropic 的内部信息,评估 AI 本身是否正在加速 AI 的开发。 我们现在发布一份报告,总结这项风险评估的结果。
原文

Since August, a team within METR has worked with internal Anthropic information to assess whether AI itself is accelerating AI development. We are now publishing a report summarizing the results of this risk assessment.

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错