Original post · AI translation
Rohan Paul@rohanpaul_ai
GPT-6 Astra 在 Perceptron AI 推出的新基准测试 EgoHome 中名列第一。该基准测试检验 AI 能否追踪家务视频中人手的动作，这是机器人向人类学习所需的能力。
AI 能告诉你某人在洗碗，却说不清他们的手在做什么，而机器人需要知道后者。
这类基准测试如此重要，是因为如今的机器人训练使用大量人类视频，并用 AI 自动为这些视频添加标签（“左手拿起海绵，右手打开水龙头”）。如果标签有误，机器人学到的也会是错误的动作。
介绍 EgoHome：一个用于密集、亚秒级第一人称视角理解的新开放基准测试。
由人工标注的家务视频，每个片段都有 4 类标注：手部边界框、子任务、手部动作、手部文字描述。
其中包含超过 750 个时长不足 500 毫秒的片段。
数据、评估指标和评判提示词均已公开。🧵
Original
Introducing EgoHome: a new open benchmark for dense, sub-second egocentric understanding. Human-annotated household-chore video with 4 annotation types on every clip: hand boxes, subtasks, hand actions, hand captions. It features over 750 segments under 500ms. Data, metrics, and judge prompts are all open. 🧵
· UTC+8