Delta Flow Matching for Robot Foundation Models
Delta Flow Matching for Robot Foundation Models
Kuangji Zuo · Tuo An · Xinying Guo · Gen Li · Mengfei Zhao · Jiaqi Bai · Bofan Lyu · Zhuoyuan Yu 等
一句话结论
这篇论文的核心改动不是换掉 VLA 或 WAM 骨干，而是换掉 flow matching 的起点：不再从纯 Gaussian 噪声生成未来动作和未来视觉潜变量，而是把最近执行过的动作、当前或近期视觉潜变量加上有控制的噪声作为源分布。于是模型学习的 transport 从“任意噪声到未来”缩短为“过去到未来的残差变化”。作者把这个策略接入 `π0.5`、ImageWAM 和 Fast-WAM：ImageWAM 一个 epoch 达到 91.30% LIBERO 成功率，比原模型提前约 6 倍跨过 90%；Fast-WAM 提前 4 倍达到 95% 以上；`π0.5` LoRA 一个 epoch 的 92.20% 已超过 Gaussian 十步基线五个 epoch 的 91.30%。单步推理在三个模型上分别带来 1.54×、2.49× 和 4.45× 加速，同时把单步 Gaussian 采样的动作 jerk 降低 4.5×。 strongest evidence is LIBERO-Plus：ImageWAM 从 82.49% 提到 88.55%，`π0.5` 从 80.70% 提到 84.53%。
关键词
摘要
中文摘要
Flow matching 已成为当前机器人基础模型的常见生成式配方。VLA 生成动作块，WAM 进一步生成未来视觉状态；但两者都从固定 Gaussian prior 出发，忽略了过去和未来状态、动作之间的强时间连续性。这使得训练成本高，部署时也需要迭代采样，WAM 的额外视觉分支会进一步放大开销。利用这种连续性，论文提出 Δ-flow：用带轻度噪声的近期历史构造源，而不是固定 Gaussian prior。源更接近目标，transport 缩短为可高效学习的小残差 Δ，并支持单步推理。作者把 Δ-flow 接入 VLA π0.5、ImageWAM 和 Fast-WAM。在 LIBERO 上，ImageWAM 一个 epoch 而非六个达到 90% 成功率；Fast-WAM 两个 epoch 而非八个达到 95%；π0.5 LoRA 一个 epoch 已超过 Gaussian 基线五个 epoch 的表现。单步推理分别给三个模型带来 1.54×、2.49× 和 4.45× 加速，并把相对单步 Gaussian 的动作 jerk 降低 4.5×。Δ-flow 在 LIBERO-Plus 上取得 state-of-the-art 泛化；更有趣的是，动作历史源还能免训练用于已训练 WAM，只替换推理时的 Gaussian action source，就能在单步条件下基本保持甚至略升成功率。论文还研究了动作表示和视觉信息在动作学习中的作用，说明该设计能显著提升当前机器人基础模型的效率与泛化。
英文摘要
Flow matching has emerged as a common generative recipe for current robot foundation models. Vision-language-action models (VLAs) generate action chunks, while world-action models (WAMs) additionally generate future visual states. Yet both start generation from a fixed Gaussian prior, despite the strong temporal continuity between past and future states and actions. This process is costly to train and requires iterative sampling at deployment, especially for WAMs with an additional visual branch. Exploiting this temporal continuity, we introduce Δ-flow, which constructs the source from recent history with mild noise rather than from a fixed Gaussian prior. This moves the source closer to the target, reducing the transport to a small residual Δ that can be learned efficiently and enables single-step inference. We integrate Δ-flow into the VLA policy π0.5 and the WAM policy including ImageWAM and Fast-WAM. On LIBERO, ImageWAM reaches 90% success in one epoch rather than six, and Fast-WAM reaches 95% in two epochs rather than eight. With LoRA fine-tuning, π0.5 exceeds its baseline’s five-epoch performance after one epoch. Single-step inference gives 1.54×, 2.49×, and 4.45× speedups on π0.5, ImageWAM, and Fast-WAM, respectively. It also preserves action smoothness, achieving a 4.5× reduction in action jerk compared with one-step Gaussian sampling. Δ-flow reaches state-of-the-art generalization performance on LIBERO-Plus. Remarkably, action-history sources can also be applied to pretrained WAM policies without retraining. Replacing the Gaussian action source at inference largely preserves task success with a single sampling step and can slightly improve it. We further study how action representation and the use of visual information in action learning affect history-to-future prediction in Δ-flow. Together, these results show that Δ-flow is simple yet effective, substantially improving the efficiency and generalization of current robot foundation models.
直观理解
可以把 flow policy 想成从起点向终点的位移场。传统做法把机器人放在完全随机的噪声点，再要求模型学习一条通往未来动作或未来画面的长路；但机器人控制有强时间连续性，上一段动作和刚刚看到的画面本来就离未来不远。Delta-flow 直接利用这个近邻关系，把源点设在近期历史附近，再保留少量噪声以维持多模态和随机性。模型只需学出“接下来会怎么变”，一步 Euler 更新就能跳到未来。对 WAM，动作历史和视觉历史同时变成源；对 VLA，只有动作分支需要改动，因此可以几乎无损地接到已有 action expert 上。
图 1：左边是 Gaussian source 反复迭代重建未来；右边从对应历史加噪声出发，只学习残差 Δ。这个改动同时作用于 WAM 的视觉和动作分支。
背景与问题
为什么做
Flow matching 已成为连续机器人动作生成的常用配方，π0、π0.5 和新一代 WAM 都用 velocity field 从随机源转移到未来动作或未来视觉表征。训练时每个目标都要与无关 Gaussian 噪声配对，学到的是陡峭且长距离的 transport；推理时又要多次调用 action expert，WAM 还要为视觉和动作两个分支同时反复求值，直接抬高控制延迟和训练收敛门槛。
问题缺口
已有加速工作大多只针对动作采样器，或用额外 predictor warm-start 动作生成，较少统一回答三个问题：动作历史和视觉历史能否作为同一套 source formulation；WAM 中两条 flow 如何耦合且不互相污染；单步生成能否既保持任务成功，又避免 chunk 边界动作抖动。作者先前 A2A flow 主要面向动作和任务级 policy，尚不能直接说明机器人 foundation model、视觉潜变量和已有大规模骨干能否复用同一设计。
图 2：VLA 只替换动作源；WAM 同时替换视觉潜变量源和动作源，并在视觉特征进入动作分支时使用 stop-gradient。
方法
方法概述
对每个模态 m ∈ {action, visual}，先取同维度的历史表示 h_m：动作侧是最近 H 个已执行动作，视觉侧把当前/近期观测编码并重排成未来潜变量布局。将历史与按维度掩码控制的 Gaussian 噪声混合成 s_m，在目标 y_m 和 s_m 之间插值，训练 velocity field 预测 s_m − y_m；同时从 s_m 做一次 Euler 更新，用 L1 endpoint consistency 直接监督单步结果。VLA 只套用动作目标；WAM 把动作和视觉目标放在同一 interaction window 中联合训练。
核心机制
历史源把源点和目标点挪到同一条轨迹附近，速度场只需拟合小而平滑的残差，而不是从一个与未来无关的随机点跨整个分布。噪声项避免把每个历史确定性映射到单一未来，保留目标分布的多模态；mask 则保护 gripper 与 padded 维度。endpoint consistency 与源设计共同对齐训练与单步推理，使减少 NFE 不是事后压缩采样步数，而是让模型直接学会一次从历史跳到未来。
方法拆解
- 构造历史源：
s_m = α_m h_m + σ_m b_m ⊙ ε_m。三个实际 backbone 统一动作侧α_a=1、σ_a=0.5，并把 gripper 和 padding 排除在噪声外；ImageWAM/Fast-WAM 视觉源使用 50% image/video-latent prior，即(h_v+ε_v)/√2。 - 保留路径监督：在
y_m^τ=(1−τ)y_m+τs_m上采样 flow time，训练f_m回归路径速度s_m−y_m。这一项继续约束整个速度场，避免只学终点。 - 加入端点监督：从
s_m一步得到ŷ_m=s_m−f_m(s_m,1,c_m)，用 L1 惩罚ŷ_m−y_m。动作侧端点在归一化动作空间计算，视觉侧在 WAM latent 空间计算。 - VLA 插入方式：保留
π0.5的 PaliGemma 骨干和 Gemma action expert，只把 Gaussian action source 换成最近 10 个已执行动作加噪声，目标为未来 10-action chunk；训练损失为 action flow matching +0.5 × action endpoint consistency，推理一次 Euler 并执行前 5 个命令后重规划。 - WAM 双模态耦合：ImageWAM 用当前图像潜变量预测 16 步后的图像潜变量，动作历史/目标长度为 16；Fast-WAM sparse 配置用
{t−32,…,t}观测预测 stride 8 的 4 个未来帧，动作窗口 32。视觉分支向动作分支提供中间 KV 特征，但在连接处 stop-gradient，避免 action loss 反向破坏视觉学习。 - 单步完整推理：WAM 在视觉源处评估一次视觉网络，把得到的中间特征作为动作条件；视觉 endpoint 和动作 endpoint 各做一次 Euler。部署不需要解码未来 RGB。
关键要点
- 历史源不是干净历史本身，而是加噪历史；作者明确指出 deterministic source 会牺牲目标多模态和鲁棒性。
- 方法学贡献是把动作历史源扩展到视觉潜变量，并在 WAM 中用 stop-gradient 隔离 action loss 与 visual branch，使两条 flow 共享交互窗口但不共享破坏性梯度。
- 与 A2A flow 相比，本方法直接工作在 action space，不需要额外 latent encoder/decoder，因此更容易 drop-in 到 foundation model checkpoint。
结果
结果速览表
| 问题 | Delta-flow | 对照 | 读法 |
|---|---|---|---|
| ImageWAM 首个 >90% epoch | 1 | 6 | 约 6× 训练加速 |
| Fast-WAM 达到 95.65% epoch | 2 | 8 | 约 4× 训练加速 |
| `π0.5` LoRA 1 epoch | 92.20% | Gaussian 5 epoch 91.30% | 1 epoch 已超过 5 epoch |
| ImageWAM LIBERO-Plus | 88.55% | 82.49% | +6.06 pp |
| `π0.5` LIBERO-Plus | 84.53% | 80.70% | +3.83 pp |
| Fast-WAM-Joint LIBERO-Plus | 80.58% | 77.51% | +3.07 pp |
| 完整 policy-call 加速 | 1.54× / 2.49× / 4.45× | 十步 Gaussian | 分别对应 `π0.5` / ImageWAM / Fast-WAM |
| ImageWAM 平均动作 jerk | 0.04335 | 一步 Gaussian 0.19399 | 降低 4.5× |
| 冻结 ImageWAM 一步 LIBERO | 98.10% | Gaussian 一步 97.50% | 免训练 source 替换有效 |
洞察
可借鉴点
- 生成式 policy 报告 latency 时，应说明是否包含文本编码、图像预处理、source construction 和 action postprocessing；本文的“完整本地 policy-call”口径比只测 transformer forward 更有参考价值。
- 减少采样步数时必须同时测 chunk boundary jerk，而不是只看平均成功率；单步 Gaussian 明显更快，但动作连续性可能恶化。
- 历史源中的噪声 mask 应与动作语义对齐。gripper 这类离散/语义敏感维度不适合和 pose 维度一起加同样的连续噪声。
- 对 world-action 架构，“未来视觉信息是否有用”和“action gradient 是否应该改写世界模型”是两个独立问题，应分别消融。
风险与判断
局限
- 主实验集中在 LIBERO 与 LIBERO-Plus 仿真基准；论文明确说物理真机和更多 VLA backbone 验证仍是 future work，因此不能把结果直接外推为真实机器人部署成功率。
π0.5action-only 结果说明历史动作有效，但没有展示视觉历史源在更多 VLA 架构中的收益；WAM 双模态证据主要来自 ImageWAM/Fast-WAM。- 所有模型统一动作噪声
σ_a=0.5是很强的工程便利性证据，但历史可靠性会随接触、扰动和速度变化；论文尚未做 per-sample/per-timestep 自适应噪声。 - ImageWAM 与 Fast-WAM 的 LIBERO-Plus 比较包含不同 pretraining 与结构背景。虽然有 matched Gaussian source 对照，但跨文献表格的评测协议继承自原文，不能把每一行都视为完全同分布随机实验。
- 一步 Gaussian ImageWAM/Fast-WAM 延迟低于一步完整 Delta-flow，因为它们不保留同样的未来视觉推理语义；若部署时未来视觉表征并非必要，简单移除该分支可能仍是更廉价选择。
- 免训练 source 替换在 Fast-WAM LIBERO-Plus 上从 68.28% 降到 67.58%，说明“无需重训即可换源”不是普遍保证。
- 论文报告 A100 latency，但没有真实控制器的通信抖动、传感器异步和安全约束；实际机器人闭环频率取决于完整软硬件栈。
适用场景
- 适合已经有执行历史、动作 chunk 与视觉潜变量布局的 flow-based VLA/WAM，尤其希望降低采样 NFE 和训练 epoch 的场景。
- 适合 distribution shift 下仍需要动作连续性的仿真到准部署评估，例如服务操作、桌面操作和需要频繁 chunk replanning 的任务。
- 适合作为已有 checkpoint 的低成本改造：VLA 只替换 action source；冻结 WAM 也可先尝试 inference-time past-action source。
- 不适合历史信号不可靠、动作空间高度离散、执行器回放噪声大，或必须依赖远期规划的场景；这些情况下“过去接近未来”的假设会显著削弱。
最终判断
- 这是一篇问题定义清楚、改动小、证据链完整的效率论文：它没有堆新模块，而是系统检验了 flow source 这个被默认为 Gaussian 的设计选择，并在三个 foundation-model backbone 上同时测训练、泛化、延迟和动作连续性。
- 最值得采纳的是三件套：历史加噪源、一步 endpoint consistency、WAM visual-to-action stop-gradient。它们对已有 flow policy 具有直接工程参考价值。
- 需要保守解读的是“单步实时”与“泛化提升”：前者目前主要来自 A100 仿真 policy-call，后者主要来自 LIBERO-Plus；真实机器人、更多 backbone 和自适应噪声仍是决定上限的关键。
相关主题
Vision-Language-Action
VLA/WAM 从开放基座、多源数据、在线精修和长时程记忆，继续扩展到新感官模态、隐式空间表征对齐、几何世界建模、模块化世界—动作预训练、训练期物理模态蒸馏、动作接触后果预测与执行期闭环。
打开主题
继续阅读
上一篇
TACROSS: An Efficient and Low-Cost Scalable Human Touch System Across Heterogeneous Tactile Sensors for Dexterous Robot Learning
TACROSS 用 10.86 美元的压阻手套快速采集人类触觉示范，并通过接触事件语义而非原始 taxel 数值对齐到电容式 Revo2 机器人手，再由少量机器人执行示范提供动作真值。
下一篇
LoopWAM: Closed-Loop Generalist Policy Improvement from Deployment Rollouts
LoopWAM 回答的问题是：通用机器人策略部署之后，能不能直接吃自己（以及别人）跑出来的全部 rollout——包括成功、次优和失败——而不用先过滤再模仿。它的答案是三个机制装进一个双流世界-动作模型：source-dependent noise sampling 让低噪声的记录动作充当后果预测的条件，把 ACWM 折进同一训练阶段；quality steering 把轨迹质量写成指令后缀 `Quality: q`，部署时只用专家分 q⋆ 采样；quality-weighted supervision 给动作损失乘权重 λ(q)，失败轨迹 λ=0 但保留视频监督。 效果是真闭环：RoboChallenge Table30-V2 四种本体 30 个任务上三轮“部署-重训”把总成功率从 23.67% 拉到 43.33%（+19.7 个点），总分 56.80 登顶榜单；不做额外具身预训练就在 RoboTwin 2.0 拿到 94.5% 平均成功率、RoboCasa365 拿到 49.5%；叠衣服单任务后训练两轮从 13.20% 到 55.56%。消融显示 quality steering 是最大单项增益来源（无 steering 时平均仅 72.3%），而且粗粒度标注（每个 checkpoint 一个分）就已足够。