不依赖大规模预训练,Fysiverse-UniWAM在24项真机测试中导航与移动操作均列第一

不依赖大规模预训练,Fysiverse-UniWAM在24项真机测试中导航与移动操作均列第一

飞捷科思(Fysics AI)联合复旦大学认知与智能技术实验室(CITLab)提出统一世界动作模型 Fysiverse-UniWAM,尝试用一个模型贯通自主导航、移动操作与固定工位灵巧操作三类能力。该模型未采用以大规模机器人预训练为起点的路线,而是从预训练视频世界模型出发,通过共享骨干网络实现导航与操作的联合学习。

团队提出 MAP(Manipulation Anchor Pose,操作锚定位姿),并构建了 MAP-Data 数据集,包含超过 150 万条轨迹、累计约 7500 小时。据技术报告,在 MAP-Bench 基准测试中,该模型平均位置误差为 9.85 厘米,平均朝向误差为 2.30°,较最强外部基线分别降低 30.1% 和 44.0%。

真机测试覆盖 4 种机器人平台、24 项任务。在 13 项 MAP 导航真机测试中,UniWAM 的位置误差全部排名第一,朝向误差在其中 11 项任务中最优。4 项移动操作任务中,UniWAM-Scaled 成功率全部第一,平均成功率达到 80.0%,领先 π₀.₅ 达 17.5 个百分点。在 7 项固定工位真机评测中,模型有 3 项任务超过 π₀.₅,整体成功率为 68.9%,仅落后 2.5 个百分点。

灵巧操作演示包括一镜到底的交互式抓取、跟随人手位置的递物、双臂三层叠杯、高精度试管插放以及长程咖啡制作。团队称,这些任务分别考验泛化抓取、双臂协作、空间精度与长时序规划能力。

技术路线分为两个层面。其一是 MAP:传统语义导航通常只要求机器人抵达目标附近,而移动操作还要求底盘停在哪里、以何朝向面对目标。团队利用 HM3D、InteriorGS 及私有大规模场景数据,结合场景几何信息、视觉语言模型与自动路径规划,自动生成参考停靠位姿与接近轨迹,每条轨迹记录视觉观察、导航动作、目标边界框与 MAP 图像投影等几何监督信息。

其二是 Mixed-Stream:导航流处理环境观察与底盘动作,操作流处理多视角观察与机械臂动作,两条数据流拥有各自的输入编码器和动作输出头,但共享统一的视频 DiT 与动作 DiT 骨干网络,通过 Mixture-of-Transformers(MoT)机制协同建模。两类数据可独立采样、批量输入并共同更新共享骨干,推理时既能独立工作也能并行执行,从而降低对完整移动操作示范数据的依赖。模型还引入图像平面辅助监督,导航流预测目标边界框与 MAP 投影位置,操作流预测机械臂末端二维投影轨迹。

对照实验显示,在不引入 MAP-Data 的情况下,UniWAM-Base 已优于外部基线;加入 MAP-Data 后停靠精度进一步提升。架构对照实验表明,Mixed-Stream 相比统一动作 Token、独立动作专家和序列拼接等方案,改善了移动操作成功率与停靠精度。此外,团队仅用 MAP-Data 训练 UniWAM-Sim,不加入真实机器人示范数据,随后直接部署到两种真实机器人平台,取得 18.7 厘米位置误差和 6.34° 朝向误差。团队认为,这并不意味着大规模机器人预训练不再重要,而是说明它未必是构建统一机器人能力的唯一前提。