aifollow.news
返回 IT之家 科技新闻
IT之家 科技新闻· · 原发布时间 AI 评分54

OpenAI 发布 LifeVal 基准,评估 AI 处理日常事务的能力

AI 辅助摘要

LifeVal 涵盖照护、健康、教育、个人财务等场景,任务依据时间使用调查及对 3,995 名受访者的调查设计,重点看 AI 能否把建议推进到可执行、可交付的状态。OpenAI 公布了部分任务得分,但完整任务集和评分代码尚未公开,外界无法独立复现结果。

正文 · 原文

IT之家 11 月 3 日消息,OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准,用来衡量 AI 模型能否真正帮助普通人完成日常事务,该公司称这一评估旨在让通用 AI 更贴近“对人类最有用的日常帮助”。

在 LifeVal 的任务设计上,OpenAI 首先参考了美国的“美国人时间使用调查”和跨国“多国时间使用调查”,随后又对 3,995 名具有人口代表性受访者开展调查,询问他们最希望个人 AI 助手在哪些事务上提供帮助。

据此,LifeVal 覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景。典型任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。

与传统基准不同,LifeVal 更关注任务是否能被推进到“可执行、可交付”的状态。例如,AI 不只是列出幼儿园名单,而要结合地点、预算、通勤和家庭需求筛选;处理财务时,也要兼顾账单、收入和风险。OpenAI 表示,模型可能需要理解聊天记录、浏览网页、整合多方信息,并给出符合个人处境的建议。

OpenAI 称,过去一年已将 LifeVal 用于追踪和推动模型在日常任务上的改进。公开示例显示,部分任务表现较高:为孩子找幼儿园得分 93.1%,组织防洪志愿者为 98.0%,为糖尿病家长准备膳食计划为 90.4%。IT之家附上相关截图如下:

不过,LifeVal 目前仍主要是 OpenAI 的内部评估。外界尚未获得完整任务集、评分代码、误差范围或可独立复现的排行榜,因此其结果仍需谨慎解读。

发现内容有误?提交纠错