aifollow.news
返回 量子位 AI 报道
量子位 AI 报道· · 原发布时间 AI 评分47

大晓机器人展示酒店洗衣机器人方案,用实机失败数据改进取衣动作

AI 辅助摘要

大晓机器人以酒店洗衣为场景,结合Mundo世界模型、Astra技能生成和机器人本体执行,尝试完成取衣、设备操作及送回客房等连续任务。报道中的实机实验聚焦“烘干机取衣”:57小时完成165轮测试后,牛仔裤筒内残留率从平均48%降至32%;这一数据只对应单项技能,不能代表整套酒店洗衣流程的完成率。

正文 · 原文

复刻一个物理世界

Jay发自 凹非寺 量子位|公众号QbitAI

Jay发自 凹非寺 量子位|公众号QbitAI

啥,机器人已经能接管酒店洗衣房了??

从客房里收走你的脏衣服,自己穿过狭窄的走廊,智能避障。

再把衣物取出来,装进篮子;

然后,精准识别并按下洗衣机、烘干机的启动键;

最后,取出衣服,再给你送回房间……

整个过程,如丝般顺滑。

我知道,你可能觉得洗衣、烘干嘛,听着一点也不Fancy。

但你相信我,处理柔性物体、在真实、动态、非标准化的环境里完成一整套长链条任务,这事儿的技术难度,在机器人圈里绝对是地狱级的。

如今,大晓机器人给出了新解法——

双脑 (世界模型+Astra) 协同架构+具身RSI。

简直是疯狂叠Buff。。。

复刻一个物理世界

酒店其实是个蛮适合作为具身落地的灯塔场景的。

一方面,酒店普遍面临夜间招工难、人力成本高、节假日服务需求集中等问题;

另一方面,大晓董事长王晓刚表示,也有一部分秀肌肉的考量。

洗衣服务涉及取衣、搬运、设备操作、洗涤烘干、送回客房等多个环节,对机器人的空间理解、精细操作和长流程任务规划都有很高要求。

这也是我们选择酒店场景的重要原因,它不是让机器人完成几个孤立的动作,而是要求机器人在真实环境中持续完成一项业务。

传统机器人往往只能在预设条件下执行固定任务,一旦环境、物体或者任务发生变化,就需要重新编程或人工干预。

洗衣服务涉及取衣、搬运、设备操作、洗涤烘干、送回客房等多个环节,对机器人的空间理解、精细操作和长流程任务规划都有很高要求。

这也是我们选择酒店场景的重要原因,它不是让机器人完成几个孤立的动作,而是要求机器人在真实环境中持续完成一项业务。

传统机器人往往只能在预设条件下执行固定任务,一旦环境、物体或者任务发生变化,就需要重新编程或人工干预。

但与此同时,机器人想进到酒店干活,也不是那么容易的,往往一来就会遇到个很大的阻碍——

冷启动。

你想想,你买个扫地机器人回家,还得先让它全屋溜达一圈建个图。

现在要让一个更复杂的机器人去酒店上班,它连客房门朝哪开、洗衣机长啥样都不知道。

所以,行业一直以来的思路,都是先在数字世界里「彩排」一下。

也就是飞飞老师所说的「空间智能」方向。最直观就是Atlas那种,搞个三维重建,把场景的几何外观扫出来。

但问题是,那玩意儿本质上,还是个「可看不可动」的静态样板间。

它没有物理属性。

啥意思?就是说,在那个数字空间里,机器人不知道衣篮究竟有多重,洗衣门要多大劲才能打开。

这其实会带来蛮多问题的,我给你举个例子。

咱们人做很多操作时的时候,其实基本上是不太用得着眼睛的。因为物理世界能直接交互啊,上手摸一把,大概就知道是个啥,要用多少力气。

但如果只有个只能看的样板间,就只能靠碰运气了😭。

听上去很魔幻,但事实上很多机器人,就是这么训练出来的。

而大晓机器人这次的解法,也算是终于回到了第一性原理吧——

Mundo,支持建模物理参数的世界模型。

作为大晓开悟世界模型体系中的一员,Mundo能提供环境建模、训练数据生成与策略验证支持,帮助世界模型将跨场景学习形成的世界知识、预测与行动能力,更有效地应用于具体任务。

具体而言,在输入酒店房间、走廊、洗衣房等一堆照片后,Mundo能复刻一个 可以物理交互 的孪生酒店。

物体质量、摩擦力…… 全都包含在内。

这样一来,原本完全是空中楼阁的数字酒店,就成了一个给机器人专用的「驾校」。

每一次数字世界里的尝试,不管是成功还是失败,都会产生一堆数据——动作轨迹、接触状态、视觉反馈。

这些数据,又能反过来被用来优化机器人的动作策略。

结果就是,极大压缩现场部署的调试时间。机器人还没「入职」,就已经对工作环境和业务流程「了如指掌」了。

一个想,一个干

好,现在机器人有了专属驾校,可以疯狂练车了。

下一个问题, 谁来驾驶?

我的第一反应是:

这还不简单,现在Astra操控机器人这么猛,直接让它上啊。

这还不简单,现在Astra操控机器人这么猛,直接让它上啊。

一看还真是,Astra是大晓给予机器人除Mundo之外的第二颗大脑。

但我仔细研究一番后,发现和我最开始的预想不太一样。

是,Astra理解、推理、规划能力都无敌了,但如果你直接套壳的话,效果其实蛮尴尬的……

团队做了个测试,数据显示,纯靠Astra实时决策,跑完一整套流程, 耗时超过30分钟 。

我都能自己手洗两回了😭。

物理世界必然是高频的,如果机器人的每一步动作,都要实时等着云端的大模型观察、思考、推理、决策,那黄花菜都凉了啊。。。

又想吃通用模型的红利,又要满足具身落地的实时要求,怎么办?

这次,大晓机器人给出了解法——

解耦。

云端一个 通用脑 (GPT-Astra) ,负责任务拆解、逻辑推理、生成策略这种需要「思考」的宏观工作。

给定目标和评测条件,让Astra尽情在Mundo世界模型中探索,寻找最优解、验证、总结……待方法论收敛后——

沉淀为Skill。

接下来,交给机器人本体上一个 执行脑 ,负责调用那些已经固化好的Skill,依托本体的摄像头和机械臂,快速完成高精度的物理动作。

有了这套分工后,你再猜猜,本地具身基模完成同样一轮任务,需要多久?

18.648秒。

是的,你没看错。

从30多分钟,到18.6秒。耗时缩减超过98% 。

当然,现实世界总有意外。

如果现场光线突然变了,或者有个人把衣篮挪了个位置,端侧小脑处理不了了怎么办?

这时候,「云端大脑」Astra会重新介入,分析新的情况,生成一个新版本的Skill再下发下来。

而为了管理这些成百上千的Skill呢,团队还自研了一个叫 BotAgent 的调度中枢。

简单来说它就像是一个大堂经理。它把整个洗衣流程,拆解成了53个最基础的原子动作,再往上封装成「取篮子」、「去洗衣房」这样14个大的语义步骤。

最终,BotAgent能根据客房位置、电梯状态、洗衣机排队情况,灵活地编排出超过200种不同的动作序列。

至此,Astra这颗通用大脑的杠杆,被拉到了最大。

「世界模型+通用模型」的双脑协同架构,也彻底成型。

在失败的现场,原地进化

到这里,好像已经很完美了。

但真实世界,永远比模拟器要复杂一万倍。总会有意想不到的幺蛾子出现。

比如,机器人去抓衣篮,结果自己的手腕正好挡住了摄像头,看不清。

又比如,从烘干机里取衣服,明明抓起来了,结果一条裤腿还挂在滚筒里🤦‍♂️。。。

如果每次出问题,都得等工程师跑过来改代码,那我们可能这辈子都见不着机器人落地了。

怎么办?

这正是具身RSI发挥作用的地方——

让机器人在真实的失败中,学会自我进化 。

整个过程是这样的:

首先,Astra大脑先生成一个初代Skill,让机器人去执行。

接下来,机器人用多路摄像头录下视频,同时记录下所有传感器数据和动作时间线。

录完又可以把皮球踢回给Astra了。

如果任务失败了,或者效果不好,Astra就会像一个侦探一样,把录像和数据翻来覆去地看,定位问题的根因。

比如,它发现抓篮子时腕部相机老是被遮挡,于是改进方案就是:切换到头顶的相机来观察。

再比如,它发现从烘干机里往外掏牛仔裤时,裤腿总是挂在滚筒壁上。

Astra分析完录像后,给出的优化策略是:动态微调机械爪的抬升轨迹,同时调整指尖的抓取倾角。

此外还有个Trick,为了让这个「练级」过程能7×24小时不间断,进一步减少Human in the Loop,大晓还做了件蛮聪明的事——

让机器人学会「自主复位」。

什么意思?

比如掏衣服这个动作,机器人把衣服从烘干机里掏出来之后,它能自己再把衣服抖散,扔回烘干机里,把现场恢复到实验开始前的状态。

完全不需要人去干预。

这就摆脱了对人工的依赖,实现了真正意义上的自主闭环进化。

当然,自动化程度一高,难免会担心误差累积的问题。

闭门造车总是不太好嘛,一个模型再聪明,也难免会「不识庐山真面目」。

为了保证改进是有效的,团队会在训练过程中独立运行一个模型副本,像「质检员」一样,对每一轮的执行录像和数据打分。

如果发现新版本的Skill效果还不如旧的,系统能快速回滚。

差不多就是这些。

口说无凭,咱还是来看看数据。

就「烘干机取衣」这一个Skill,在 57小时 内,机器人连续完成了 165轮 真机实验,输出了 37条 改进方案和大约 80个 迭代版本。

操作对象也从一开始的标准布料,逐步拓展到了更难搞的厚重牛仔裤、奇形怪状的洗衣袋。

最终,单轮用时稳定在了170到210秒。最关键的指标——牛仔裤筒内残留率,从平均 48% ,一路降到了 32% ,最优的一次甚至达到了 19% 。

真实的失败,成了机器人进化的最佳养料。

具身Transformer时刻

法国哲学家勒内·笛卡尔曾写道:

让后来者从前人止步之处继续。

让后来者从前人止步之处继续。

在具身智能的演进史里,最奢侈的资源,其实不是云端的算力,而是机器人在真实物理世界里,所耗费掉的那些一去不复返的试错时间。

一次抓取的滑脱、一次视角的遮挡、一次衣物边缘的误判……

在过去,如果这些失败仅仅化为系统后台里一条无人问津的报错日志,那么成百上千台设备,就会在不同的场景里,日复一日地重蹈覆辙。

但现在,不一样了。

大晓机器人让分散在酒店洗衣房、客房走廊中的每一次受挫与调整,都转化成了可被世界模型理解、可被基模型吸收的通用认知资产。

一台机器人的失败,成了所有机器人成长的阶梯。

我觉得,具身智能,或许正逐渐迎来属于自己的 Transformer时刻 。

如同大语言模型用统一架构承接了人类语言的无穷变化,当世界模型、双脑协同与自进化机制这套组合拳,能牢牢嵌合进产业流水线,机器人获取新能力的边际成本,将被逐渐击穿。

接下来,就看生态的丰富度,该如何反哺长尾场景的训练了。

而中国,恰好拥有全世界最深厚的场景土壤与最完备的硬件供应链。

据大晓董事长 王晓刚透露,他们确实已经开始探索除酒店之外的场景 ——

即时零售是非常值得进一步拓展的方向。

虽然与酒店洗衣属于不同领域,但背后存在一些共性:都需要机器人理解复杂环境、完成多步骤任务,并与真实业务系统和运营流程协同。

同时,这些场景的任务频次较高,业务结果可量化,能够持续产生数据反馈,推动模型和技能迭代。

酒店场景验证的世界模型环境建模、通用模型技能生成以及RSI持续改进等能力,可以为其他场景提供技术参考。

即时零售是非常值得进一步拓展的方向。

虽然与酒店洗衣属于不同领域,但背后存在一些共性:都需要机器人理解复杂环境、完成多步骤任务,并与真实业务系统和运营流程协同。

同时,这些场景的任务频次较高,业务结果可量化,能够持续产生数据反馈,推动模型和技能迭代。

酒店场景验证的世界模型环境建模、通用模型技能生成以及RSI持续改进等能力,可以为其他场景提供技术参考。

优先于B端验证场景、形成商业闭环,保证能自我造血后,才能沉下心来养精蓄锐,最终逐步向更困难的阵地进军。

具身是一场马拉松,但庆幸的是,至少现在的技术水平,已经可以解决一些痛点。

今天在酒店洗衣房里走出的一小步,正在为明天千行百业的物理世界巨变——

搭好最关键的跳板。

发现内容有误?提交纠错