原帖引用 · AI 翻译
V0.5 同时针对两个目标进行训练:预测机器人的下一步动作,以及预测其摄像头接下来会看到什么。
视频预测只是为了教会模型场景如何变化。
运行时,V0.5 直接输出动作,因此该策略无需在每个控制步骤生成视频,就能获得世界模型对场景的理解。
@VerneRobotics 发布的成果太出色了
V0.5 是一个开放权重的世界动作模型,它通过摄像头观察,并输出机械臂、夹爪和移动底座在接下来 1 秒的运动。
最重要的是,它通过不到 2 小时的演示就学会了新的工业任务。
> 房间环境发生变化时,机器人模型通常会表现不佳。面对两个模型在训练中都未见过的杂乱物品和新光照条件,Verne Robotics 的 V0.5 在模拟测试中的得分下降了 7.6 个百分点,而 Physical Intelligence 的 π0.5 下降了 24.7 个百分点。
> 在 Verne 的测试中,RoboTwin 2.0 上随机变化的杂乱物品、光照和纹理使 V0.5 的成绩从 81.0% 降至 73.4%,而 Physical Intelligence 的 π0.5 则从 70.7% 降至 46.0%。
> V0.5 基于 Wan2.2 视频生成器构建,通过超过 170 万次演示学习在预测产生运动的同时预测接下来的摄像头画面。
https://t.co/BaTwYMcNsj
https://t.co/8WKzZHXJIw
原文
Brilliant release by @VerneRobotics V0.5, an open-weight world action model, that looks through cameras and outputs the next second of arm, gripper and mobile-base motion. The big deal is that it learned new industrial tasks from under 2 hours of demonstrations. > Robot models usually stumble when a room changes. With clutter and new lighting that neither model trained on, Verne Robotics’ V0.5 lost 7.6 points in simulation, while Physical Intelligence’s π0.5 lost 24.7. > On RoboTwin 2.0, randomized clutter, lighting and textures cut V0.5 from 81.0% to 73.4% in Verne’s tests, while Physical Intelligence’s π0.5 fell from 70.7% to 46.0%. > Built on the Wan2.2 video generator, V0.5 learned from over 1.7M demonstrations to predict upcoming camera frames alongside the motion producing them. https://t.co/BaTwYMcNsj https://t.co/8WKzZHXJIw
推出 V0.5,Verne 面向工业机器人的开放权重世界动作模型。
我们相信,让机器人技术惠及大众,始于向所有人开放前沿基础模型。
要让机器人进入每个行业,需要许多团队在众多工作流程的共同进展基础上继续构建。
V0.5 是在 LIBERO 和 RoboTwin 2.0 基准测试中表现领先的美国制造开放权重模型。
我们希望你能与我们一起将 V0.5 投入应用。
原文
Introducing V0.5, Verne’s open-weight world action model for industrial robots. We believe democratizing robotics starts with making frontier foundation models open to everyone. Bringing robots to every industry will take many teams, building on shared progress across many workflows. V0.5 is the leading US-made open-weight model on LIBERO and RoboTwin 2.0 benchmarks. We hope you’ll join us in putting V0.5 to work.