METR 更新 AI 能力评估:模型在判断类任务上仍落后于人类
METR 扩充了评估任务,加入更耗时和更开放的问题。其报告显示,模型在设计新评估和评判哲学论证等需要判断的任务上仍落后于人类;OpenAI 也报告称,模型处理员工提出的真实任务时,表现不如在较易验证的任务上。新评估中许多任务的人类完成时间依赖估算,开放式任务数量也少,尚难据此预测未来进展。
推荐理由
这项更新把难以自动判定成败的任务纳入评估,让普通读者看到模型在可验证任务之外的表现,以及当前评估的局限。
按该来源的展示范围,站内仅提供摘要。
前往原始出处阅读