aifollow.news
返回 Rohan Paul
Rohan Paul· @rohanpaul_ai · X· · 原发布时间 AI 评分54

研究称更强编程模型未提高代码合并率

AI 导读

一项哈佛研究利用 Claude Fable 5 因美国出口管制指令中断服务 19 天的情况,比较了 297 名原用户与 8,908 名继续使用 Opus 4.8 的开发者。获得 Fable 5 访问权限后,拉取请求的 7 天合并率仅高出 1.4 个百分点,差异处于统计噪声范围;研究还称,另外五次模型升级也未提高合并率。

原帖引用 · AI 翻译

@rohanpaul_ai
译文 · 以原文为准

– https://t.co/8xHdi1rm5A

标题:“得分更高的编程模型并未完成更多工作”

回复Rohan Paul@rohanpaul_ai
译文
哈佛一篇新论文发现,Claude Fable 5 停用 19 天期间,其用户改用能力较弱的 Opus 4.8 后,拉取请求被合并的频率与此前大致相同。 2026 年 6 月,一项美国出口管制指令使 Claude Fable 5 停用 19 天,大多数用户转而使用 Opus 4.8。该研究跟踪了 297 名 Fable 5 用户的 GitHub 拉取请求,并以 8,908 名继续使用 Opus 4.8 的开发者作对照。 使用 Fable 5 使 7 天内的合并率仅提高了 1.4 个百分点,这一变化处于随机波动范围内。另外 5 次模型升级也未使合并率上升,不过在升级前已有 94.5% 的拉取请求被合并。
原文

New Harvard paper finds that when Claude Fable 5 was suspended for 19 days, its users' pull requests got merged about as often on the weaker Opus 4.8. A U.S. export control directive cut off Claude Fable 5 for 19 days in June 2026, and most users switched to Opus 4.8. The study tracked GitHub pull requests from 297 Fable 5 users against 8,908 developers who stayed on Opus 4.8. Access to Fable 5 raised the 7-day merge rate by only 1.4 points, a change within noise. Across 5 other model upgrades, merge rates did not rise either, though 94.5% of pull requests were already merged beforehand.

在 X 查看这条帖子 ↗

来源:Rohan Paul · x.com

论文
发现内容有误?提交纠错