群发资讯网

WholeBodyWAM-人形全身操作世界动作模型

⭐️欢迎关注新工作 WholeBodyWAM:将预训练 WAM 的操作知识泛化到人形全身协同,让机器人“手上会做”,也能“全身配合”。

-论文标题:WholeBodyWAM: Generalizing Pre-trained World–Action Priors to Humanoid Loco-Manipulation via WBC-Grounded Coordination
-论文链接:https://arxiv.org/abs/2609.16644
-项目地址:https://wholebodywam.github.io/

🔎背景与痛点:从桌面操作走向全身协同
WAM 已展现有效的操作能力与泛化潜力,但研究大多聚焦桌面或手臂操作,双足人形机器人的大范围全身移动操作仍探索不足。难点不只在于增加关节:手臂要与移动、转身和躯干调整协同,不同全身控制器的指令含义也不统一,高质量人形示教数据仍有限。

💡关键 Insight:如何将操作先验用于全身协同?
预训练 WAM 已有丰富操作先验。关键缺口是:将这些先验结构化对接异构全身控制器(WBC),让模型学会身体何时、如何配合操作。

🛠️提出方案: Preserve → Ground→ Coordinate → Generalize
WholeBodyWAM 通过三项互补设计扩展世界—动作先验:1)保留预训练 WAM 的视觉—操作通路;2)用统一全身控制接口 UWBC 对齐控制器指令语义;3)用协调感知注意力 CASA,在手臂沿观测运动方向的可操作性下降时,加强操作意图对全身调整的引导。

🧪实验验证:表现与协同泛化
覆盖6个仿真、8个真机任务,仿真成功率91.9%;真机分布内/外成功率81.3%/68.8%。
毛巾支架移远10 cm后,机器人首次抓取失败,随后前移并转身,再次抓取成功。这一完整恢复序列未见于我们的训练示教,展示了whole-body coordination generalization。我们将其理解为保留操作先验与增强全身协同共同促成的涌现行为。

🚀总结:复用先验,走向全身智能
结果提示:通过结构化 WBC grounding与coordination,复用并泛化世界—动作先验,有望以有限的人形数据支持可扩展的全身智能,而不必从零重学全身行为。欢迎阅读论文、观看演示!

#具身智能 #机器人操作 #人形机器人 #世界模型