Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
Han Xue · Jieji Ren · Wendi Chen · Gu Zhang · Yuan Fang · Guoying Gu · Huazhe Xu · Cewu Lu
一句话结论
RDP 的关键不是“把力塞进 Diffusion Policy”，而是把力放到正确的时间尺度和网络位置：低频 latent diffusion policy 负责生成约 0.67 秒的高层动作块，快速 asymmetric tokenizer 则以 24 FPS 读取最新触觉或六维 wrench，把潜在动作解码成末端相对位姿。模型不输出目标力、阻抗或力矩，学到的是“看到这种受力与任务阶段时，位置应该再压入、退出还是沿曲面移动一点”。 这正面回应“小位移很难学、策略浮在表面”的问题。论文观察到有效修正确实只有亚毫米级：削皮器受力突增时向上卸力，接近黄瓜末端时向下压入以继续贴面，双臂夹杯接触后向外修正以免压瘪。真正决定能否学到的不是位移绝对值，而是示范中是否有稳定的“力变化—微位移—接触结果”相关性，以及训练、推理和机器人执行是否在时间上对齐。
关键词
摘要
中文摘要
人类可以结合视觉与触觉完成复杂接触任务，并快速响应外界变化、适应性调节接触力；机器人仍难做到。现有视觉模仿学习依赖动作分块表达复杂行为，却无法在动作块执行期间立即响应实时触觉，而且常见遥操作系统也难以提供细粒度力/触觉反馈。论文提出低成本 AR 遥操作系统 TactAR，以及快慢视觉—触觉模仿学习算法 RDP：低频 latent diffusion policy 在潜空间预测高层动作块，高频 asymmetric tokenizer 根据最新触觉闭环解码位置动作，从而在一个框架内兼顾复杂轨迹生成与快速反应。三项接触密集任务的实验显示，RDP 明显超过视觉模仿学习基线，并兼容不同触觉与力传感器。
英文摘要
“Humans can accomplish complex contact-rich tasks using vision and touch, with highly reactive capabilities…”
英文摘要要点：现有视觉模仿学习虽然能借助 action chunk 建模复杂行为，却不能在块执行期间即时利用触觉。论文提出 TactAR 数据采集系统和 RDP 快慢视觉—触觉模仿学习框架，用低频潜扩散生成高层动作块、用高频非对称 tokenizer 完成闭环触觉修正，并在三项真实接触任务和多种触觉/力传感器上验证。
直观理解
把慢策略想成先写出一段“大方向正确”的动作草稿：拿起削皮器、接近黄瓜、沿长度方向移动。普通 action chunk 一旦开始执行，即使力已经变化，后半段草稿仍照抄，因此会浮在表面、压得过深或丢失接触。RDP 的快策略像一名只负责手感的校稿员，每一帧都用最新力把下一步末端位置微调一点；力是条件，位置仍是动作输出。
这条路线适合不想依赖厂商力控接口的机器人，但它并没有消除底层控制要求。主动接触力最终仍来自“位置偏置 × 机器人与环境的等效刚度”，所以需要稳定的位置/阻抗伺服、限速限力和异常撤离保护；RDP 本身不提供显式力跟踪或稳定性保证。
图 1：左侧 TactAR 用 AR 向示教者反馈力/触觉，右侧 RDP 用慢策略生成潜在动作块、快策略根据最新接触反馈修正位置。
背景与问题
为什么做
Diffusion Policy、ACT 等方法用 action chunk 缓解长序列误差累积，并能表达停顿、振荡和多模态行为；代价是动作块一旦开始执行，就在约 0.67 秒内近似开环。接触密集任务中的物体扰动、曲面变化、滑移和受力尖峰发生得更快，而真正有效的动作调整往往只有亚毫米级。只在动作块开头读取一次力，或者只把触觉拼到低频观察中，都会让接触反馈在真正执行到后半段时失效。
问题缺口
直接缩短 chunk 可以提高重规划频率，却会破坏示范中的非马尔可夫结构；论文消融中，chunk 从 8 缩到 2 后，擦拭任务的抓取成功率从 100% 跌到 20%。Temporal ensemble 虽然形成半闭环，却对平滑系数非常敏感，并可能抹掉多模态动作。论文因此要同时保住两种能力：慢网络对长动作、停顿和多模态轨迹的生成能力，以及快网络在 chunk 执行期间依据最新触觉或力即时修正下一位置动作的能力。
图 5：RDP 不缩短高层动作时域，而是在同一个动作块内部增加高频反馈解码。
方法
方法概述
RDP 分两阶段训练。第一阶段只用动作块训练快速非对称 tokenizer：1D-CNN encoder 把真实末端轨迹压成低维 latent action，GRU decoder 再结合对应时刻的触觉 PCA 表示或六维 wrench 重建原动作。第二阶段冻结这一动作表示，用低频 latent diffusion policy 根据图像、触觉/力和本体状态预测 latent action chunk。推理时慢策略约 1–2 Hz 生成高层潜在动作，快策略以 24 FPS 用最新接触反馈重新解码下一位置动作，最后由 Flexiv RDK 插值并以超过 500 Hz 发送。
核心机制
非对称结构刻意不让 encoder 看触觉或力，只允许 decoder 使用它。这样，低维潜变量更适合保存任务阶段、运动方向和多模态轨迹，而示范中与瞬时接触相关的精确位置必须由 decoder 结合实时反馈恢复。训练目标不是目标力，而是动作重建：L1 位置/姿态重建损失加很小的 KL 正则；慢策略再以 DDPM 噪声预测目标学习 latent action 分布。它没有数学上保证网络一定利用力，但低维瓶颈、动作下采样和 decoder-only 条件共同提高了利用高频反馈的压力。
方法拆解
- 力与触觉输入：
RDP (Force)直接把六维 TCP wrench（3D 力 + 3D 力矩）拼进观察向量；GelSight/MCTac 则从标记点形变场提取 PCA 特征，实践中保留 15 个主成分。 - 快速动作 tokenizer：动作块 (A\in\mathbb{R}^{T\times D}) 经 1D-CNN 压成 (Z=E(A))，GRU 用 (\hat A=D([Z,F])) 重建真实动作；训练损失为 L1 重建加系数 (10^{-6}) 的 KL 正则。
- 慢速 latent diffusion：FiLM 条件化的 1D U-Net 在潜动作空间做 DDPM 去噪。输入观察包含视觉、触觉/力和 proprioception，推理 8 个 diffusion steps，约 100 ms。
- 相对轨迹表示：动作不是相邻帧 delta，而是相对 action chunk 最后一个 observation 帧的末端轨迹，既减少连续 delta 的累积误差，也压缩了快策略需要学习的动态范围。
- 延迟匹配：估计推理与执行延迟，丢弃已经过时的前几步预测，避免“当前受力却执行旧位置”造成训练—部署时间错位和 chunk 交界处异常动作。
- 快慢执行频率：慢策略约 1–2 Hz；动作观察/预测为 12 FPS；快策略读取 24 FPS 的力/触觉并输出 24 FPS 位置动作；快网络单次推理低于 1 ms，理论计算上可超过 300 Hz。
关键要点
- 输出仍是末端相对位姿，不是目标力、刚度、导纳参数或关节力矩；主动施力由学习到的位置微调与底层伺服共同产生。
- 快策略不是单纯的
force → Δx映射。latent action 和 GRU 历史携带任务阶段，因此同一种受力在“应该继续贴面”和“应该卸力”阶段可以得到不同修正。 - 默认 AT 预测窗口为 32 帧 @ 24 Hz，下采样比例 4；latent 维度很小，削皮为 4，擦拭和双臂抬杯为 8。这种容量限制是避免高层 latent 偷记所有亚毫米细节的关键工程选择。
- 论文明确在采集示范时主动加入 reactive behaviors；如果数据只有轻触后沿表面运动，没有“丢失接触后再压入”的动作，模型不会凭空学出主动施力。
结果
- Peeling 中，RDP Force 总分 0.95，视觉 DP 为 0.44；最难的接触后扰动设置中分别为 0.88 和 0.19，DP 加触觉 embedding 也只有 0.15。
- Wiping 中，RDP Force 总分 0.87，视觉 DP 为 0.57；接触后扰动下为 0.80 对 0.25。
- Bimanual Lifting 中，RDP Force 总分 0.70，视觉 DP 为 0.00；异构 GelSight + MCTac 组合也达到 0.48。
- 三项任务中 RDP 相对各类 Diffusion Policy 基线均提升超过 35%。GelSight 与 MCTac 在 Peeling 上分别为 0.90 和 0.88，说明结构可跨两种光学触觉；噪声更大的关节力矩估计版反而最好，作者推测原因是延迟更低、维度更小。
- 训练数据规模并不大：Peeling 60 条、Wiping 80 条、Bimanual Lifting 50 条示范。每种测试变化运行 10 次，并使用单盲评测。
结果速览表
| 证据 | 对照 | RDP 结果 | 含义 |
|---|---|---|---|
| Peeling 总分 | 视觉 DP 0.44 | Force **0.95** | 力输入 + chunk 内闭环显著改善精确贴面 |
| Wiping 总分 | 视觉 DP 0.57 | Force **0.87** | 能随曲面与扰动自适应调整接触 |
| Bimanual Lifting 总分 | 视觉 DP 0.00 | Force **0.70** | 学到既夹稳又不压瘪纸杯的主动微调 |
| Peeling 接触后扰动 | DP 触觉 0.15 | GelSight **0.80**；Force **0.88** | 高频反馈比静态触觉拼接更关键 |
| Chunk 缩短 | 抓取成功 100% → 20% | RDP 保持 100% | 不能以牺牲长动作建模简单换闭环频率 |
| 仅法向力 / 对称 tokenizer | 0.48 / 0.58 | 默认 **0.95** | 切向/扭矩与非对称瓶颈都重要 |
| TactAR 数据质量 | 稳定接触力 0.58 | **0.87** | 示范中的稳定力—微调相关性是学习前提 |
洞察
- “位移太小”不是唯一问题，更常见的是监督被大范围接近/抓取轨迹淹没。RDP 用两阶段训练和低维 latent 把粗动作与接触微调分开，让 fast decoder 的主要工作正是重建那些无法由高层 latent 单独解释的细节。
- 高维触觉不一定比低维 wrench 更好。Force 版本虽然来自噪声较大的关节力矩估计，却在三项任务中最好；论文的合理解释是它延迟更低、维度更小。对闭环学习而言，反馈的新鲜度和可对齐性可能比表示精细度更重要。
- 主动施力与被动卸力可以由同一位置残差接口表达：削皮器在力突增时向上退，但在曲面末端又向下压。决定符号的不是力本身，而是 latent action 所代表的任务阶段和接触意图。
- Asymmetric tokenizer 只是结构性诱导，不是严格保证。若 latent 维度过大、示范太确定或力和动作时间错位，encoder 仍可能独自编码动作，decoder 继续忽略力。
和已有方法的关系
- 相对普通 Diffusion Policy，RDP 不是只添加触觉观察，而是让力/触觉在 action chunk 执行期间持续参与高频动作解码。
- 相对 Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control，RDP 不输出目标力、刚度或虚拟目标；ACP 把柔顺参数交给高频导纳控制器，RDP 则用力输入学习末端位姿修正。
- 相对 T-Rex: Tactile-Reactive Dexterous Manipulation，RDP 是 action tokenizer + latent diffusion 的两阶段慢—快结构；T-Rex 则用共享 flow 轨迹上的视觉慢专家与触觉快专家。
- 相对 TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback，RDP 维护独立快速 decoder；TacForcing 在单一 streaming action expert 内保留未来动作中间态，并让执行期触觉只修正下一块。
可借鉴点
- 对“不愿输出力”的平台，粗位置轨迹 + 高频受力条件位置残差是一种可执行接口。
- 可以用 decoder-only 条件和受限 latent 容量，迫使高频模态承担局部细节，而不是把所有模态无差别拼接。
- 评测应同时记录任务进展、接触保持、峰值力、扰动恢复和局部残差；仅看最终位姿或全轨迹 MSE 会漏掉亚毫米修正的价值。
风险与判断
局限
- RDP 是单任务模仿学习，只在 Peeling、Wiping 和 Bimanual Lifting 三项任务上验证；不能据此证明跨任务或开放世界泛化。
- 快策略只处理高频触觉/力，不能快速吸收图像变化；视觉层面的突发变化仍受慢策略 1–2 Hz 频率限制。
- TactAR 与实验平台围绕两指夹爪设计，没有灵巧手、多点接触和更复杂接触拓扑的实证。
- 论文没有显式目标 wrench、力误差损失、passivity 或闭环稳定性证明；主动接触力取决于位置命令、机器人伺服和环境刚度，换硬件后可能产生完全不同的力。
- 不对称瓶颈和 L1 重建没有从理论上保证 decoder 使用力；论文也未报告 force shuffling、modality dropout 或互信息类使用率诊断。
- 光学触觉内部延迟约 10–60 ms，TactAR 还有约 10 ms 标记追踪、10 ms AR 渲染和 1–6 ms 网络延迟；更换传感器与控制栈时需要重新做时间对齐。
适用场景
- 适合剥皮、擦拭、沿曲面跟随、轻压装配、稳握和双臂夹持等“宏观轨迹变化慢、接触反馈变化快”的任务。
- 适合已有视觉、本体和六维 wrench 输入，底层位置或阻抗伺服可靠，但不希望让学习策略直接输出目标力的机器人平台。
- 更适合作为受安全限幅保护的局部闭环策略，不应未经重新验证直接用于高速冲击、脆弱物体、强摩擦卡死或安全关键的人机接触。
最终判断
- RDP 是“力只做输入、动作仍是位置”路线中非常直接的证据：最简单的六维 wrench 输入配合正确的快慢结构，就能学到既会卸力、也会主动压入的亚毫米修正，而且在三项任务中优于更高维的光学触觉版本。
- 它真正解决的是 action chunk 内的反馈时效性与表示分工，不是通用力控制。若现有模型浮在表面，优先检查示范是否包含主动压入、fast residual 是否被大轨迹损失淹没、力与动作是否严格对齐，以及 latent 是否过强导致忽略力。
- 在工程上值得先复现一个最小版本：低维 slow latent + GRU fast residual、24–50 Hz wrench、接触片段均衡采样、局部坐标系残差和独立安全限幅；不要一开始就把目标力作为策略输出。
相关主题
继续阅读
上一篇
ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation
ForceMimic 解决的不是“给机器人加一颗力传感器”，而是先用一个约 50 美元的手持 ForceCapture 在没有机器人的情况下采集自然的人类力—位交互，再把示范转成伪机器人数据；HybridIL 用扩散策略同时预测位姿和 wrench，并在执行时按力阈值切换正交混合力位控制。西葫芦削皮实验中，它的动作正确率为 100%、连续削皮超过 10 cm 的成功率为 85%，优于 Raw DP 的 80%/55%。
下一篇
FoAR: Force-Aware Reactive Policy for Contact-Rich Robotic Manipulation
FoAR 的关键不是把力/扭矩简单拼到视觉策略上，而是先预测未来是否会接触，再用这个概率门控力觉特征，并在部署时用力觉触发小步反应式修正。仅用 50 条示范，它在擦除、削皮和切菜等接触丰富任务上显著超过 RISE 与多种融合基线，并在白板被移动或重写后保持 100% 基本动作成功率。