Article · Original
The article text is unavailable in this language; an existing version is shown.
Dario刚喊减速…
听雨 发自 凹非寺
量子位 | 公众号QbitAI
Anthropic的三个内部神秘模型,曝光了。
Model 2、Model 3、Model 4。
真名还没公开,但训练时间和部分成绩已经出现了。
第三方评估机构METR的新报告披露:三个模型分别在今年7月、8-9月、9-10月完成训练。
其中最强的 Model 4,在Anthropic的综合能力指数AECI上,已经超过了Opus5.5。
Anthropic联合创始人Sam McCandlish也出面回应了。
他认同报告中的多项判断:AI正在加快Anthropic的研发,只是究竟加快了多少,还很难精确衡量。
(原来A社创始人也有个Sam啊)
此外,Sam还承认, 这份公开报告删去了大量信息。
他知道,这会让外界更难核验METR的分析。但在他看来,公开研发提速背后的细节,既涉及商业敏感信息,也可能给其他公司提供一份「加速路线图」。
三个内部模型,都什么来头
这三个模型的能力差距如何?
METR报告披露的 AECI曲线 ,提供了一个直观的参照。
AECI是Anthropic版本的Epoch能力指数,将多项内部、外部基准的成绩综合起来,用于观察模型能力随时间的变化。
△Anthropic模型的AECI得分走势,橙色圆点代表内部模型,绿色圆点代表公开模型
从图中可以看出,Model 2与Opus5.5的得分接近,Model 3和Model 4则更高。
其中,Model 4的AECI达到178.6,是这组模型中得分最高的一个,比Opus5.5高出约3.9分。
这3.9分是啥水平呢?
按Anthropic过去的能力提升速度折算, 大约相当于3个月的进步 。
而Opus 5.5是啥时候发的呢?一个半月前。
从整体趋势看,METR估计,自2025年10月以来,Anthropic模型AECI得分的增长速度约为此前的1.9倍, 几乎翻倍 。
Model 4还有一项表现:纳入其AECI评估的15项基准,成绩全部超过50%。
作为对照,约九个月前的Opus4.6,在不少基准上的成绩还低于50%。
△高亮曲线代表纳入Model 4评估的15项基准,成绩均超过50%
这简直进步神速啊……
这也让METR开始担心,能够充分考验这些模型的高难度测试快不够用了,今后的能力测量也会越来越难做。
怎么说呢,METR你也是白担心了,因为benchmark被刷爆现在太常见了,大家都这么担心。
A社这边,联合创始人Sam McCandlish也出面回应了。
他认同METR报告中的多项判断: AI正在加快Anthropic的研发,但究竟加快了多少,还很难精确衡量。
按照Sam的说法,Anthropic向METR提供了未发布模型的基准成绩、模型进展估算,以及与研究人员交流的机会,让评估者独立形成结论。
此外他也承认,A社在这份报告里删去了大量信息,让其他人更难核验METR的分析。
他还预告, 未来几周,Anthropic将发布自己的进展分析~
其中会说明内部AI研发的速度、公司相对于其负责任扩展政策所处的位置,以及准备采取哪些新的安全措施。
Claude自进化之后,下一代模型来得更快了
Claude,已经开始帮自己造下一代了。
今年9月,A社就公开过一组数据:
截至8月,Claude已经在人的监督下,主导了26%的模型研发工作。而半年前,这个比例还不到1%。
最新公开的这份METR报告里,还收录了多位Anthropic研究员的访谈摘录,谈到了AI如何改变他们的研发工作。
一位受访研究员表示,从产生想法到运行实验,所需时间减少了约80%。
在他的感受里,代码已经不再是主要瓶颈,真正卡住进度的是想法和算力。
也有研究员提到,借助Claude和Agent工具,团队可以同时尝试更多思路,甚至发现过去不会投入精力探索的方向。
他们的说法都呈现出一个共同点: Claude帮助研究员更快地把想法变成实验,研发团队也因此有机会尝试更多方案。
按照这路子走下去,更强的模型又可能成为下一轮研发的助手,继续推动后续模型进步。
METR也倾向于认为,AI的广泛使用贡献了Anthropic当前研发加速的大部分。
不过它也强调,现阶段的加速主要来自AI辅助人类研究员,完全自主的AI研发贡献还没有成为整体进步的主要来源。
今年9月,Dario还专门写了篇文章,呼吁大家集体减速:
我们必须放慢提升AI模型能力的速度。
Dario估计也是在内部看到什么迹象了…
按他的判断,从今年夏天前后开始,AI进步明显加快,主要动力就是AI越来越能帮助开发下一代AI。
他还担心,这个过程会快到超出人类理解和控制这些系统的能力。
不过,「嘴上喊刹车,脚上踩油门」也是A社的老把戏了…
内部模型一个接一个曝光,丝毫也没有减速的意思啊😓
众所周知,Dario向来是一个特别重视安全的人。
《纽约时报》最近一篇文章也指出, 对AI风险的担忧,正是推动Dario争取技术上领先的源动力。
他相信AI可能带来极大风险,因此希望赶在那些不重视人类安全的人之前,把这项技术开发出来,并由自己信任的人掌握它。
按照他的设想:训练仍会继续,但公司应当为对齐、防护和第三方评估留出足够时间。
且看A社猛发新模型的同时,究竟会在安全上下多大功夫吧~
参考链接:
[1] https://x.com/METR_Evals/status/2118412183860351084
[2] https://x.com/Sam_McCandlish/status/2118422266669371519
[3] https://www.nytimes.com/2026/11/05/technology/dario-amodei-anthropic-ai.html
[4] https://darioamodei.com/post/we-must-pace-the-frontier