OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining
OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining
Yuran Wang · Siqiao Huang · Mingleyang Li · Chenhao Zhang · Jiaqi Liang · Weiyang Jin · Yue Chen · Xuemin Chi 等
一句话结论
OpenWAM 最值得记住的不是“又一个视频生成模型改机器人策略”,而是它第一次把 WAM 的设计变量拆成可复现实验:骨干、潜空间、动作容量、世界/动作信息流、联合去噪和预训练数据配方分别控制,再把结论累积成一个开放模型。 论文给出的强结论是:WAM 需要足够强的视频生成先验和紧凑、高信息量的视觉潜空间;动作必须有独立容量并在训练时读取世界特征;推理时同步联合去噪优于人为安排“先想未来、再反推动作”;跨域预训练的主要收益是 OOD 泛化,而不是继续抬高接近饱和的 ID 分数。 OpenWAM-α 用约 6369 小时、5.185 亿帧的人类第一视角与异构机器人数据实现这套配方,在多数仿真和三类真机形态上达到强基线水平。但它在 LIBERO-Plus 只有 69.2%,相机扰动 33.8%、噪声扰动 39.8%,清楚暴露了“长时程像素潜空间预测 + 单臂数据覆盖不足”的 OOD 脆弱性。因此,这篇论文既是 WAM 的工程底座,也是比单纯 SOTA 宣传更有价值的失效边界报告。
关键词
摘要
中文摘要
世界—动作模型从视频生成先验中继承世界知识,并通过具身经验将其转化为可执行的控制信号。然而,现有系统通常是单体式的:生成骨干、视觉表示、架构、信息流、推理过程和训练数据紧密耦合,使人难以判断哪些设计选择真正重要以及原因何在。作者提出 OpenWAM,一个把世界—动作预训练变成受控实验计划的开放研究栈。OpenWAM-Infra 将 WAM 设计空间分解为可组合模块,并统一训练、推理、部署和评测。在此基础上,OpenWAM-Study 通过受控实验研究三个问题:应继承什么、世界与动作学习如何交互、二者协同如何扩展,并总结出三项原则:上游知识需要通过能力充分的生成骨干和紧凑且信息丰富的潜空间进行迁移;世界—动作协同需要专用动作容量、显式世界到动作的信息流以及同步联合去噪;具身预训练主要改善分布外泛化,而在人类第一视角和机器人数据上进行单阶段共训,可以整合世界覆盖与动作落地。基于这些原则,作者构建 OpenWAM-α,在约 6400 小时的人类第一视角和机器人数据上预训练,并在仿真与真实世界基准中评测。八个仿真基准和真机实验覆盖单臂、双臂到灵巧手等多种形态,OpenWAM-α 从仿真到物理世界都保持了较强表现。作者开放完整技术栈,包括基础设施、评测协议、预训练模型和数据配方,以推动后续研究。
英文摘要
World-Action Models inherit world knowledge from video-generative priors, and channel it into executable control signals through embodied experience. Existing systems, however, are monolithic: the generative backbone, visual representation, architecture, information flow, inference procedure, and training data are tightly coupled, obscuring which design choices matter and why. We introduce OpenWAM, an open research stack that turns world-action pretraining into a controlled experimental program. OpenWAM-Infra factorizes the WAM design space into composable modules with unified training, inference, deployment, and evaluation. On this substrate, OpenWAM-Study examines three questions through controlled experiments: what to inherit, how world and action learning interact, and how their synergy scales; and distills three principles: upstream knowledge transfers through a sufficiently capable generative backbone and a compact, information-rich latent space; world-action synergy requires dedicated action capacity, explicit world-to-action information flow, and synchronized joint denoising; and embodied pretraining principally improves out-of-domain generalization, with one-stage co-training over egocentric and robot data integrating world coverage and action grounding. Composing these principles, we build OpenWAM-α, an open WAM pretrained on roughly 6,400 hours of egocentric human and robot data and evaluated across simulation and real-world benchmarks. Across the eight simulation benchmarks and the real-robot experiments, which together span embodiments from single-arm and bimanual manipulation to dexterous hands, OpenWAM-α delivers consistently excellent performance, sustaining its top-tier standing from simulation to the physical world. We release the full stack, including infrastructure, evaluation protocols, pretrained models, and data recipes, to facilitate future research.
直观理解
背景与问题
为什么做
视频生成模型已经从海量视频中学到物体、场景和视觉动力学,而带可执行动作标签的机器人轨迹仍然稀缺。WAM 的吸引力在于把这种“世界如何变化”的先验转成“机器人怎样让它变化”的控制能力,使世界预测为动作提供状态与未来结构,动作监督反过来让模型关注与控制有关的变化,从而比只靠机器人示范从零学习更充分地利用非机器人视频。
问题缺口
现有 WAM 往往把视频骨干、视觉编码器、动作头、跨模态连接、训练目标、采样顺序和数据混合捆在一起;一个系统变强时,很难判断收益来自模型规模、潜空间、信息流还是数据。甚至“同时预测视频和动作”也不等于二者真的协同:动作可能读不到世界特征,推理调度可能离开训练分布,单域高分也可能只是记住下游场景。论文因此把问题收敛为三层:继承什么世界先验、怎样建立世界—动作协同、这种协同如何跨域扩展。
方法
方法概述
OpenWAM 先用 OpenWAM-Infra 把 WAM 表示成 C(E, S, M):视觉编码器 E 决定要预测的潜空间,流骨干集合 S 承载世界流、动作流和可选理解流,注意力掩码 M 决定各流之间能否读取信息;统一训练器以联合 flow-matching 目标处理所有组合,统一策略服务器负责采样和动作映射。OpenWAM-Study 再按骨干、表示、架构、训练信息流、预训练数据和推理去噪六个问题递进消融,最后将得到的默认项组装成 OpenWAM-α。
核心机制
OpenWAM-α 由冻结的 Wan2.2-VAE、预训练 Wan2.2-TI2V-5B 世界 DiT 和独立 1B ActionDiT 构成。视频未来 latent 与连续动作块分别加噪、使用独立时间步,在全部 30 对 Transformer 层中通过共同的 24 头注意力空间双向交换信息;联合 flow-matching 同时预测视频速度场和动作速度场,80 维固定槽位及有效维度 mask 只监督当前具身实际使用的动作坐标。训练独立采样视频/动作噪声以覆盖二维噪声平面,推理沿对角线做 10 步同步 Euler 去噪,使每一步的动作都读取逐渐清晰的未来世界特征,同时避免测试时人为“谁先去噪”造成偏移。
方法拆解
- 模块化基础设施:支持 4 类视觉编码器、5 类视频生成骨干、6 类架构变体和 4 种可见性掩码;训练、checkpoint 重建、策略服务和八项仿真评测通过统一接口连接,降低跨实现比较的混杂因素。
- 世界先验选择:依次比较 1.3B 到 14B 视频骨干,再在随机初始化同架构下比较 Wan2.2-VAE、FLUX.2-VAE、DINOv3 和 V-JEPA 2.1;表示编码器先经 S-VAE 压到 48 维,以区分“语义表示是否有效”和“高维 token 是否难优化”。
- 动作容量与架构:比较共享单系统、带动作专家的 MoE、独立世界/动作双系统及带 VLM 的三系统;结果选择复杂度更可控、性能接近最优的双系统 joint self-attention。
- 训练期信息流:用 attention mask 分别测试 isolated、video-sees-action、action-sees-video 和 mutual;动作能读取世界特征是约 5 个点性能差异的关键,预训练后双向 mutual 从近似打平变成稳定更优。
- 推理期联合采样:训练覆盖独立
(t_video, t_action)噪声组合,部署比较同步、视频领先和动作领先多类轨迹;最终选同步 10 步去噪,而不是先生成视频再用 IDM 反推动作。 - 多域预训练:从约 14,348 小时原始池清洗并采样 6369 小时,其中 30.1% 为自建人类第一视角视频,69.9% 为真实/仿真机器人数据;人类视频只监督世界流,机器人轨迹同时提供动作、本体状态和世界监督。
- 统一动作空间与部署:80 维动作向量包含左右臂各 34 维(位置、6D 旋转、夹爪、24 维灵巧手)和 12 个保留槽;有效维度 mask 屏蔽未使用坐标,最终通过逆映射返回机器人原生动作空间,RTX 5090 上每个动作块约 170 ms。
关键要点
- WAM 的协同不是“同时输出未来视频和动作”自动产生的;专用动作容量、训练期世界到动作的信息通路和匹配训练分布的联合采样缺一不可。
- 潜空间的关键属性不是“重建式”或“表征式”标签,而是信息量、token 维度和时间压缩的共同平衡;DINOv3/V-JEPA 经压缩后可以接近原生视频 VAE。
- 具身预训练的最大增益落在 OOD:ID 从 87.0% 只升到最高 88.5%,而 Clean2Random OOD 从 14.5% 升到 26.62%。
- 单阶段人类视频 + 机器人数据共训胜在简单且略优,并不意味着无动作人类视频可以取代机器人轨迹;前者扩展视觉/交互覆盖,后者提供可执行动作 grounding。
结果
- 视频骨干从 Wan2.1-VACE-1.3B 扩到 Wan2.1-I2V-14B 时,RoboTwin2.0-Full 平均成功率由 90.14% 升至 93.79%;5B Wan2.2-TI2V 达 92.39%,仅落后 1.40 个点,因此被选作性能/成本折中。
- 表示消融中,DINOv3/V-JEPA 直接输出高维特征时只有 80.91%/76.42%;经 S-VAE 压到 48 维后升至 90.30%/88.46%,接近 Wan2.2-VAE 的 90.30%,说明紧凑性会决定表示先验能否被 DiT 有效利用。
- 架构消融中,单系统 Vanilla/MoE 为 85.50%/84.63%,双系统 joint self-attention 达 92.36%,三系统达 92.60%;动作独立容量贡献明显,但额外 VLM 理解流只带来很小增益。
- 信息流消融中,isolated 和 video-sees-action 仅 87.41%/87.63%,action-sees-video 与 mutual 达 92.39%/92.15%;同步去噪为 93.0%,所有异步调度都未超过它。
- 600 小时预训练消融中,ID 成功率由 87.0% 提升到最高 88.5%,而 OOD 由 14.5% 提升到 robot-only 23.8%、ego→robot 26.5%、ego+robot 共训 26.62%,证明主要收益来自跨分布迁移。
- OpenWAM-α 在 LIBERO 达 99.3%,RoboTwin2.0-Full 达 93.60%,RoboCasa-GR1 达 60.5%;在 RoboTwin2.0-Clean2Random 达 89.4% Clean / 48.7% Randomized / 69.0% 平均,是当时最强 WAM,但仍低于 Qwen-RobotManip 的 77.1% 平均。
- 真机单臂六任务平均 82.5%,高于 LingBot-VA 77.5% 和 π0.5 55.0%;RoboDojo 双臂 18 任务平均 Score/SR 为 37.6/24.4,对比 π0.5 的 22.9/12.8;未见 Wuji 灵巧手具身的四项 ID/OOD 设置均优于 π0.5。
- 关键反例是 LIBERO-Plus:总平均仅 69.2%,相机/噪声扰动只有 33.8%/39.8%。作者将其归因于单臂预训练覆盖不足,以及多帧像素潜空间 rollout 对视角与噪声扰动敏感、误差会逐帧累积。
结果速览表
| 评测或消融 | OpenWAM 结果 | 对照与含义 |
|---|---|---|
| 骨干规模 | 1.3B:90.14%;5B:92.39%;14B:93.79% | 更强视频生成骨干迁移更好,但收益不是纯参数量因果 |
| 双系统 joint self-attention | 92.36% | 单系统 Vanilla 85.50%;三系统 92.60% |
| 世界→动作信息流 | 92.39% | Isolated 87.41%,约 +5 个点 |
| 600h 共训 OOD | 26.62% | From scratch 14.50%,+12.12 个点 |
| LIBERO / RoboTwin2.0-Full | 99.3% / 93.60% | 接近饱和或顶级水平 |
| RoboTwin C2R Clean / Random / Avg | 89.4% / 48.7% / 69.0% | 最强 WAM,但弱于最强 VLA 77.1% Avg |
| LIBERO-Plus Avg | 69.2% | Qwen-RobotManip 89.0%;相机和噪声是主要失分项 |
| 真机单臂 Avg | 82.5% | LingBot-VA 77.5%;π0.5 55.0% |
| 真机双臂 RoboDojo Score / SR | 37.6 / 24.4% | π0.5 为 22.9 / 12.8% |
洞察
- 论文最重要的研究贡献是把 WAM 从“架构故事”变成可证伪的工程科学。尤其是从 scratch 时 action-sees-video 与 mutual 几乎打平,而大规模预训练后 mutual 反超,说明最佳信息流会随数据规模改变,不能只在小实验上定型。
- “世界模型帮助动作”的证据更像表示学习而非显式规划:训练时动作必须看世界,但测试时刻意让视频先去噪并没有收益,同步去噪反而最好。这削弱了“模型先完整想象未来,再反推动作”的直观叙事。
- OOD 收益与 LIBERO-Plus 失败共同说明,预训练不是抽象的规模奖励,而是覆盖匹配问题。人类第一视角数据扩大场景与交互分布,但无法自动补足特定机械臂、相机和带动作标注的单臂变化。
- 80 维固定槽位是实用的异构数据接口,不是已经解决动作统一。它通过语义槽和 mask 避免错误监督,但跨具身共享仍依赖人为定义的坐标语义和下游微调。
和已有方法的关系
- 相对 VLA,OpenWAM 继承的是视频生成中的视觉动力学先验,并额外使用未来视频 latent 作为训练目标;论文观察到 WAM 更擅长 ID 拟合,而 VLA 在强视觉 OOD 下更稳,但跨模型比较仍受数据与规模差异影响。
- 相对 Fast-WAM、DreamZero、Motus 等单一实现,OpenWAM 的重点是把 single/dual/tri-system、joint/cross attention、IDM 和多种视频骨干放进同一基础设施,降低结论被实现差异污染的程度。
- 相对 Geometric Action Model for Robot Policy Learning,OpenWAM 预测多帧像素重建 latent,获得强视频生成先验但承受相机/噪声敏感性;GAM 在几何潜空间做未来预测,更轻、更稳,但丢失像素级世界生成能力。
- 相对 Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models,OpenWAM 强调视频/动作两个生成流如何协同,VLAct 强调 VLM backbone 如何避免表示漂移和 decoder lock-in;两者分别对应 WAM 与 VLA 的预训练设计科学化。
可借鉴点
- 设计世界—动作模型时,应把视觉表示、世界骨干、动作容量、跨模态可见性和去噪路径分别设为可控变量,并让每项结论在前一项确定的条件下继续验证。
- 评测预训练必须同时报告 ID 与 OOD,尤其将相机、噪声、背景、布局、机器人形态和动作空间拆开;只看平均榜单会掩盖模型究竟学到动力学,还是覆盖了相近数据。
- 异构机器人数据的统一接口需要固定语义槽、有效维度 mask、可逆原生动作映射和 checkpoint 内归一化统计,防止训练/部署间静默改变坐标含义。
- 对 representation encoder,不应只比较语义质量;token 维度和时间压缩率会直接改变 DiT 训练难度,压缩适配器本身必须进入公平消融。
风险与判断
局限
- 六组实验按前一组的默认选择递进,而不是对所有变量做完整 factorial sweep;因此后续结论依赖早期选型,变量之间可能存在未测交互。
- 视频骨干比较同时改变参数量、架构、预训练数据和训练目标,论文明确承认不能把 90.14%→93.79% 全部归因为规模。
- WAM 与 VLA 的“ID/OOD 优势区域”主要来自不同公开模型的横向榜单,预训练数据、参数、微调和算力不统一,不能视为严格范式因果结论。
- LIBERO-Plus 暴露像素重建 latent 对相机与噪声的脆弱性;未来视频长 horizon 还会累计误差,增加的世界监督可能同时带来更强拟合和更差视觉 OOD。
- 论文主要研究具身预训练,尚未系统覆盖 post-training、在线适配、强化学习或安全约束;80 维动作空间也未纳入 UMI 风格数据和更一般的移动/触觉/力觉通道。
- 真机虽然覆盖单臂、双臂和灵巧手,但任务仍是实验室操作且需要下游 SFT;“预训练未见灵巧手”不等于零样本直接控制未见机器人。
适用场景
- 需要系统比较 WAM 视频骨干、视觉表示、融合架构、attention mask、数据配方或采样调度的研究团队。
- 拥有人类第一视角视频与多机器人轨迹,希望用统一世界/动作目标训练可跨任务微调的机器人 foundation model。
- 需要开放 checkpoint、统一 benchmark 接口和部署服务器,快速复现 WAM 设计或建立新消融基线的工程环境。
- 不适合直接作为强相机扰动、强噪声、未知安全约束环境下的即插即用控制器;这些场景仍需要更鲁棒的潜表示、覆盖匹配数据和部署期安全机制。
最终判断
- OpenWAM 是当前 WAM 路线非常值得长期跟踪的“研究底座型”工作。其价值排序应是:受控实验基础设施与开放资产第一,关于信息流和 OOD 的可复用设计原则第二,OpenWAM-α 的排行榜成绩第三。它证明视频生成先验可以在大规模异构预训练后形成强控制基线,也诚实展示像素潜空间的 OOD 天花板;后续最关键的问题不是继续照抄更大视频 DiT,而是寻找更紧凑、对环境变化更鲁棒的表示,并用更丰富、带精确动作标注的具身数据验证 WAM/VLA 的互补设计。
相关主题
Vision-Language-Action
VLA/WAM 从开放基座、多源数据、在线精修和长时程记忆,继续扩展到新感官模态、隐式空间表征对齐、几何世界建模、模块化世界—动作预训练、训练期物理模态蒸馏、动作接触后果预测与执行期闭环。
打开主题
继续阅读
上一篇
CR-VLA-Force: Learning Control-aware Compliance VLA Model for Robust Contact-rich Robotic Manipulation
CR-VLA-Force 的真正贡献不是再给 VLA 增加一个力觉输入,而是把 1 Hz 的慢速 VLA 与 500 Hz 的自适应柔顺控制器组成分层闭环:模型联合预测位姿和前馈力,控制器用实时力误差连续调刚度。六个力觉/接触条件平均成功率达到 89.2%,高于 ForceVLA 的 73.2%;擦板 40 N 跟踪误差降到 5.52%(base)和 8.78%(OOD)。但它的泛化证据仅覆盖单台 UR5e、四类任务与有限位姿偏移,“安全”主要来自工程控制约束而非整个学习系统的形式化保证。
下一篇
WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation
值得记住:论文把世界模型从“想象轨迹优化器”改造成可部署的递归状态编码器,并用干净深度监督解决真实腕部深度噪声;在20个真实物体200次试验中成功175次。
