aifollow.news
Back IT之家 科技新闻
IT之家 科技新闻· · Original publication time AI score54

OpenAI releases LifeVal benchmark to assess AI on everyday tasksMachine translation

OpenAI 发布 LifeVal 基准,评估 AI 处理日常事务的能力

AI-assisted summary

LifeVal covers care, health, education and personal finance. Its tasks draw on time-use surveys and a survey of 3,995 respondents, and assess whether AI can produce actionable deliverables. OpenAI reported scores for selected tasks, but the full task set and scoring code are not public, so the results cannot yet be independently reproduced.

Article · Original

IT之家 11 月 3 日消息,OpenAI 于 11 月 2 日发布名为 LifeVal 的新基准,用来衡量 AI 模型能否真正帮助普通人完成日常事务,该公司称这一评估旨在让通用 AI 更贴近“对人类最有用的日常帮助”。

在 LifeVal 的任务设计上,OpenAI 首先参考了美国的“美国人时间使用调查”和跨国“多国时间使用调查”,随后又对 3,995 名具有人口代表性受访者开展调查,询问他们最希望个人 AI 助手在哪些事务上提供帮助。

据此,LifeVal 覆盖照护、健康、教育、家庭行政、个人财务、购物以及获取政府服务等场景。典型任务包括:搬家后为孩子挑选并报名合适的幼儿园、为患糖尿病的家人制定饮食与照护计划、在预算内采购食材、整理政府表格、安排社区防洪志愿者等。

与传统基准不同,LifeVal 更关注任务是否能被推进到“可执行、可交付”的状态。例如,AI 不只是列出幼儿园名单,而要结合地点、预算、通勤和家庭需求筛选;处理财务时,也要兼顾账单、收入和风险。OpenAI 表示,模型可能需要理解聊天记录、浏览网页、整合多方信息,并给出符合个人处境的建议。

OpenAI 称,过去一年已将 LifeVal 用于追踪和推动模型在日常任务上的改进。公开示例显示,部分任务表现较高:为孩子找幼儿园得分 93.1%,组织防洪志愿者为 98.0%,为糖尿病家长准备膳食计划为 90.4%。IT之家附上相关截图如下:

不过,LifeVal 目前仍主要是 OpenAI 的内部评估。外界尚未获得完整任务集、评分代码、误差范围或可独立复现的排行榜,因此其结果仍需谨慎解读。

Found an error? Send a correction