天极网大咖秀

专访大晓吕健勤:定制化世界模型,如何降低机器人规模化落地的学习成本?

智能进化论 2026-11-20 阅读: 105 次

2026年,世界模型迎来了一轮引人瞩目的技术突破;其中,大晓机器人联合南洋理工大学发布的Mundo,探索了一条从虚拟世界走向物理世界交互的技术路径。

作为大晓开悟(Kairos)世界模型技术体系的有益补充,Mundo基于几张真实场景的照片就能快速构建一个可自由探索、可编辑、可模拟物理交互的数字孪生场景。

Atlas强调以统一学习模型完成世界生成、重建和时空模拟;Mundo则采用显式三维代理、可编辑场景程序、物理引擎与视频模型相结合的模块化路线,强调物理状态的可编辑性、实验条件的可复现性,以及各模块状态的可追踪性。

这意味着,世界模型正在从生成一段视频,走向构建可编辑、可交互的世界。衡量世界模型价值的标准,也开始从画面是否逼真、场景是否连贯,延伸到物理交互是否可验证、能否帮助机器人解决真实世界问题。

目前,Mundo已被大晓机器人应用于酒店洗衣场景,通过重建酒店楼层、洗衣区域等真实场景,为机器人模拟导航、设备操作和物理交互提供虚拟训练场。

在实际任务执行中,大晓通过双脑架构、具身RSI等系统协同,实现了从探索新操作到复用成熟技能的效率突破。一项新操作模型首次探索需要30多分钟,在将成功方法固化为可复用的Skill后,单次执行时间缩短至18.6秒,执行效率提升约97倍。

这背后,是大晓双脑协同架构与具身RSI(递归自我改进)机制共同推动的机器人学习方式的创新。双脑协同让通用大模型负责理解意图、制定计划,开悟世界模型负责物理状态理解与行动预测, Mundo提供可编辑可交互的训练环境;具身RSI则是一套自主学习体系,利用真实执行中的成功经验与失败反馈,推动技能持续进化。

近日,在这一背景下,「智能进化论」专访了大晓机器人世界模型科学家、南洋理工大学校长讲席教授、MMLab@NTU 主任、S-Lab 副主任吕健勤(Chen Change Loy,Cavan)教授。

在吕健勤看来,世界模型仍处于比较早期,尚未真正掌握完整的物理世界规律。当前的重要瓶颈,是如何“从交互中去获得物理的认知”。

与大语言模型不同,世界模型需要学习的物理知识,很难仅凭视频等互联网数据完整获得。视频终究是物理世界的视觉投影,它能够提供物体运动和交互的间接线索,但难以直接、完整地给出质量、摩擦、接触力等显式物理属性。AI可以从海量视频中学习物体的外观、运动规律,但只有与真实世界交互,在行动和反馈中验证预测、发现偏差、修正判断,才有可能真正理解物理世界。

这也揭示出世界模型下一阶段的重要方向:如何让世界模型成为机器人探索、试错和学习的环境,并通过真实反馈不断完善对物理世界的理解?更进一步,如何让一次任务中的经验被下一次行动复用,让一台机器人的探索为更多机器人所用?

从Mundo到双脑协同与具身RSI,大晓正在尝试打通仿真、交互、反馈与学习的完整闭环。这条路径的产业价值,不只是让机器人能力更强,更是降低新任务、新场景的学习与部署成本,为具身智能规模化落地寻找新的突破口。

Mundo:从“重建世界”到“交互世界”

具身智能规模化落地的一道现实难题,是如何让机器人以更低的成本,获得足够丰富的真实任务经验。真机训练成本高昂,而且机器人在真实环境中反复试错,还往往伴随着设备损耗和操作风险。

世界模型为此提供了一种新思路:先把真实场景转化为可交互的虚拟环境,让机器人在其中反复练习、验证策略,再回到现实世界检验。

这正是Mundo的研发初衷。

吕健勤将Mundo称为Customized World Model(定制化世界模型)。与面向广泛场景生成的通用世界模型不同,Mundo聚焦更具体的场景:给定一个真实场景的少量照片,就能快速构建一个可以自由探索、可编辑、可交互的数字孪生环境,让机器人在其中安全试错。

长期以来,如何兼顾真实场景还原与物理交互,一直是世界模型面临的技术挑战。传统三维重建通常缺少可操作的物理状态;视频生成模型虽能生成新视角和动态画面,但通常不提供显式、可验证的几何与物理状态。因此,Mundo探索了将三维空间表示、物理引擎与视频生成组合的新路径。

首先,组合架构,让空间结构、物理运动和视觉呈现各司其职。

Mundo首先利用三维视觉模型,从少量图像中提取空间结构,再通过三维代理(3D Proxy)描述物体的位置、大小和相互关系。

在此之上,物理引擎负责计算物体受力之后如何移动、碰撞或接触。视频生成模型则结合原始影像,将这些状态变化呈现为符合场景外观的画面。

吕健勤指出,Mundo研发中一大挑战,是如何让不同模块准确衔接与协同。真正的难点在于把三大模块串联成一条配合默契的管线。三维代理必须尽可能准确地对应真实场景,才能为物理仿真提供可靠基础;而仿真计算出来的状态变化,又需要准确传递给视频生成模型。

其次,让物理交互从不可控的生成结果,变成可编辑、可追溯的实验过程。

在Mundo中,用户可以通过代码改变物体的质量、摩擦系数,也可以指定施力位置、方向和大小。例如,面对同一个箱子,可以改变它的质量或地面摩擦系数,再施加相同的推力,观察不同参数下的运动结果。

吕健勤在采访中强调,相比仅通过自然语言描述(text prompts)驱动的交互模式,Mundo追求的是更精准、可编辑、可追溯的物理交互。

这一点对机器人训练尤为重要。不仅要归因机器人成功的路径,还要在失败之后找出原因:究竟是物体位置判断有误、物理参数不准确,还是动作策略出了问题?明确的物理状态与可复现的实验条件,让不同方案有了比较和验证的基础。

第三,通用大模型与专业工具协同,让复杂场景建模更加高效。

从几张照片创建一个三维世界,本身就存在大量未知信息。照片没有拍到的空间如何补全?不同物体的边界如何区分?场景中的几何关系又该如何优化?

Mundo引入视觉语言模型智能体,对场景进行分析和修正,再结合数值优化方法,提升三维代理的准确性。这个过程中,通用大模型承担视觉理解、问题判断和工具调用等工作,专用算法负责几何优化,物理引擎负责运动计算。

不过,建好一座数字训练场,只解决了机器人“在哪里练习”的问题。更重要的是,机器人能否用仿真习得的能力,解决真实问题?

双脑协同+具身RSI:

持续降低机器人下一次任务的成本

吕健勤特别强调,检验世界模型的价值,最终还要回到真实任务。

酒店洗衣是Mundo走向实际应用的重要场景。从客房取衣、穿过走廊、操作洗衣机,再完成烘干、装篮并送回客房,一项看似普通的酒店服务,对机器人而言,却是一连串复杂挑战。

机器人不仅要认识环境、规划路线,还要操作不同设备。尤其是衣物柔软易变形,抓取位置和受力条件不断变化。即便成功完成一次抓取,换一件衣服、换一个位置,同样的动作也可能失败。

这恰恰暴露出具身智能规模化落地的一道难题:让机器人成功完成一次任务已经不容易,而让它把一次成功转化为能够反复使用、适应不同情况的能力,更加困难。

如果每遇到一个新任务、新环境、新本体,都要重新采集数据、训练模型、调试动作,机器人就难以摆脱高成本、长周期的定制化部署。

因此,具身智能真正需要突破的,不只是单台机器人的任务成功率,更是如何将一次次实践转化为可积累、可迁移的经验,持续降低学习新任务、适应新场景的成本。

围绕这一目标,大晓构建了一套以双脑协同架构为核心,融合具身Harness、技能与控制系统,以及具身RSI(递归自我改进)机制的技术体系,尝试打通任务理解、物理预测、行动执行和经验学习的完整闭环。

通过通用大模型与开悟世界模型协同,实现任务理解、推理规划和物理状态预测;由Harness连接感知、记忆、技能与控制器,将决策转化为真实行动;再通过具身RSI分析执行反馈、优化技能与学习方法,形成从环境感知、任务规划、行动执行到经验积累和持续进化的闭环。

第一,双脑协同,让任务规划与物理预测各司其职。

机器人完成一项任务,需要同时回答两个问题:下一步应该做什么?这个动作可能带来什么后果?

前者需要理解任务、制定计划,后者则需要认识物理环境、预测行动结果。两类能力的侧重点不同,很难仅靠一个模型全部解决。

大晓采用通用大模型与开悟世界模型协同的双脑架构。通用模型侧负责理解任务、推理规划和技能组织;世界模型侧,Kairos负责跨场景的世界知识学习与行动预测,Mundo则通过真实场景重建和物理仿真,为机器人提供可以探索、交互和反复练习的数字环境。

第二,具身智能RSI,让机器人每一次试错成为改进的起点。

机器人完成一次任务,与真正掌握一项可复用的技能,是两回事。例如,机器人从烘干机里抓起一条裤子,看似成功,裤腿却仍然拖在筒内。

具身RSI试图回答一个更具挑战性的问题:机器人不仅要学会新技能,还能不能越来越擅长学习新技能?它让系统根据真机录像、动作数据和执行反馈分析问题,提出修改方案,再通过下一轮实验检验。

在酒店场景中,团队通过调整抬手高度、指尖角度等操作参数,持续改进取衣技能。约57小时内开展165轮真机实验,形成约80个技能版本。

第三,具身Harness与控制器,让模型判断转化为高效执行。

有了任务规划和物理预测,还需要解决一个现实问题:大模型会推理,不代表机器人就能快速、稳定地执行。

这背后,具身Harness负责维护任务状态,组织感知、记忆、技能调用和执行反馈,实时控制器负责具体动作的稳定执行和快速反馈。

在酒店项目中,大晓团队将53个原子动作组织为14个高层语义步骤,组合出超过200种场景动作,使机器人能够将导航、取衣、设备操作等技能衔接为连续服务流程。

对于具身产业,大晓双脑协同架构与具身RSI的更大价值,在于打通形成Real2Sim2Real(现实—仿真—现实)闭环,把机器人研发中的一次性经验,逐渐转化为长期积累的知识与技能资产。

结语

世界模型的发展,正在推动人工智能跨越一道新的门槛:从生成逼真的视觉内容,走向构建可以探索、交互和验证的物理环境。

Mundo展示了一条兼顾研究探索与现实需求的技术路径:将三维空间理解、物理引擎与视频生成相结合,让真实环境能够被转化为机器人可以反复练习的数字空间。

而在更大的双脑协同与具身RSI架构中,世界模型的意义又向前延伸了一步:不仅为机器人提供理解和模拟物理世界的工具,还尝试让一次次真实行动形成持续积累的经验。

在吕健勤教授看来,世界模型更长远的目标,是构建一个能够持续存在、不断学习的世界。不仅要保持空间结构的长期稳定,记住物体状态的变化,还要通过主动交互修正物理认知,让经验能够跨场景、跨本体复用。

当一台机器人的探索能够减少另一台机器人的重复试错,当每一次真实交互都可能成为下一次学习的起点,世界模型才有望成为支撑具身智能规模化应用的重要基础。

END

智能进化论
专注云计算、AI、数字化转型领域深度报道。

特别声明:文章版权归原作者所有,文章内容为作者个人观点,不代表大咖秀专栏的立场,转载请联系原作者获取授权。(有任何疑问都请联系wemedia@yesky.com)

×
用户注册

 

登录 忘记密码?
×
用户登录

 

忘记密码?