Original post · AI translation
标题:“关于智能体操控策略”
苹果的一篇新论文显示,像 Claude Opus 5.5 这样的通用 AI 模型在获得摄像头视角并直接控制机械臂后,处理物体的可靠性高于基于录制演示训练的机器人模型。
苹果的一篇新论文显示,前沿 AI 模型直接控制机械臂的表现优于专用机器人策略,而且无需演示数据或针对任务的训练。
大多数机器人操控研究都使用演示数据训练专用策略,例如视觉-语言-动作模型,而这些策略在指令发生变化时很容易失效。
他们的框架 AMP1 在循环中向 Claude Opus 5.5 或 Gemini 4 Argon 这样的模型提供摄像头视角、代码执行能力和直接的运动指令控制。它没有内置抓取或放置技能,因此模型会自行构思策略。
在 RoboLab-120 上,AMP1 在零样本条件下的任务回合成功率为 85.6%,而表现最好的 VLA 为 49.2%,表现最好的世界动作模型为 42.9%。在真实的 Franka 机械臂上,它在 108 次试验中成功了 104 次,不过机器人在每个任务回合的大部分时间里都在等待模型。
Original
New Apple paper shows that a general-purpose AI model like Claude Opus 5.5, given camera views and direct control of a robot arm, handled objects more reliably than robot models trained on recorded demonstrations. New Apple paper shows that a frontier AI model directly controlling a robot arm beats specialist robot policies, with no demonstrations or task training. Most robot manipulation work trains specialist policies, like vision-language-action models, on demonstrations, and they break easily when instructions change. Their harness, AMP1, gives a model like Claude Opus 5.5 or Gemini 4 Argon camera views, code execution, and direct motion commands in a loop. It has no built-in grasping or placing skills, so the model invents its own strategies. On RoboLab-120, AMP1 succeeded in 85.6% of episodes zero-shot, against 49.2% for the best VLA and 42.9% for the best world-action model. On a real Franka arm it succeeded in 104 of 108 trials, though the robot waits much of each episode for the model.