Original post · AI translation
@JoshPurtell 审美因人而异,但很明显,这些模型的评价两极分化。有点像早期 Codex 时的情况。这些模型显然能力极强,但也有一些不够完善的地方,我们会随着时间推移逐步打磨。
在这样的日子里,我真切地觉得自己仿佛生活在一个与世界其他人不同的宇宙里。
看到铺天盖地对 6.2 的批评,以及“OpenAI 完了”之类的话……我跑了最有参考价值的自动研究基准测试,结果 6.2 sol/astr 简直是*强得离谱*。
Astra 6.2 在低推理强度下就达到了这项测试的上限 https://t.co/YFhXQbC9dc
Original
Days like this I genuinely feel like I live in a different universe from the rest of the world. Saw ubiquitous 6.2 hate / it's over for OpenAI yada yada ... ran the highest-signal autoresearch bench and 6.2 sol/astr are *absolute monsters*. Astra 6.2 saturates it at low effort https://t.co/YFhXQbC9dc
@_arohan_ 在我最有参考价值的分布外自动研究评测中,Astra 6 的表现优于 Fable 5.2 和 Opus 5.5。我还没测试 Astra 6.2,但估计它会好一些。我不了解他们的内部模型,但在研究方面,你真的那么偏好他们的公开模型吗?https://t.co/nuYWwNILyj
Original
@_arohan_ Astra 6 was better than Fable 5.2 and Opus 5.5 on my highest signal OOD autoresearch eval. Haven't tested Astra 6.2 but assume it's modestly better. I can't speak to internal models but do you really prefer their public models for research that much? https://t.co/nuYWwNILyj