TenStep

ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation

ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation

Wenhai Liu · Junbo Wang · Yiming Wang · Weiming Wang · Cewu Lu

首要单位:Shanghai Jiao Tong University Shanghai Jiao Tong University

一句话结论

ForceMimic 解决的不是“给机器人加一颗力传感器”,而是先用一个约 50 美元的手持 ForceCapture 在没有机器人的情况下采集自然的人类力—位交互,再把示范转成伪机器人数据;HybridIL 用扩散策略同时预测位姿和 wrench,并在执行时按力阈值切换正交混合力位控制。西葫芦削皮实验中,它的动作正确率为 100%、连续削皮超过 10 cm 的成功率为 85%,优于 Raw DP 的 80%/55%。

关键词

force-centric imitation learningforce-motion capturecontact-rich manipulationhybrid force-position controlrobot-free demonstrationrobot peeling

摘要

中文摘要

在大多数接触丰富的操作任务中,人类会施加随时间变化的力,以补偿视觉引导手轨迹中的误差。然而,现有机器人学习算法主要关注轨迹策略,对力相关技能的学习关注有限。为此,本文提出 ForceMimic:一个以力为中心的机器人学习系统,包括自然、具备力觉感知且无需机器人的示范采集系统,以及用于鲁棒接触操作的混合力—运动模仿学习算法。借助 ForceCapture,操作者可在 5 分钟内削完一根西葫芦,而力反馈遥操作需要超过 13 分钟且难以完成任务。基于采集数据,作者提出 HybridIL 训练以力为中心的模仿模型,并在机器人执行时用混合力—位控制原语拟合预测的 wrench—位姿参数。在西葫芦削皮任务中,该方法相较先进的纯视觉模仿学习方法取得了更鲁棒的策略,成功率相对提升 54.5%。

英文摘要

In most contact-rich manipulation tasks, humans apply time-varying forces to the target object, compensating for inaccuracies in the vision-guided hand trajectory. However, current robot learning algorithms primarily focus on trajectory-based policy, with limited attention given to learning force-related skills. To address this limitation, we introduce ForceMimic, a force-centric robot learning system, providing a natural, force-aware and robot-free robotic demonstration collection system, along with a hybrid force-motion imitation learning algorithm for robust contact-rich manipulation. Using the proposed ForceCapture system, an operator can peel a zucchini in 5 minutes, while force-feedback teleoperation takes over 13 minutes and struggles with task completion. With the collected data, we propose HybridIL to train a force-centric imitation learning model, equipped with hybrid force-position control primitive to fit the predicted wrench-position parameters during robot execution. Experiments demonstrate that our approach enables the model to learn a more robust policy under the contact-rich task of vegetable peeling, increasing the success rates by 54.5% relatively compared to state-of-the-art pure-vision-based imitation learning.

直观理解

把 ForceMimic 想成“带力觉记录仪的手持工具”:人直接拿着削皮器完成任务,设备记录手怎么移动、手腕承受什么力,而不是隔着遥操作界面控制机器人。训练时,策略学会同时回答两个问题:工具应该到哪里,以及沿哪个方向、用多大接触力;执行时,低力阶段用普通位置控制,持续受力则切换到与运动方向正交的力位控制。

主要图

主要图

主要图
主要图

背景与问题

为什么做

视觉模仿学习通常把人类示范压缩成末端位姿轨迹,但在削皮、插入、擦拭等持续接触任务中,力会主动补偿视觉定位与几何建模误差。直接遥操作机器人采集位姿和六维力虽能消除训练—部署域差,却给操作者带来不自然的控制体验;力反馈还可能增加学习成本、操作中断和动作不连贯。另一方面,手持设备虽然能让人自然接触物体,却往往只记录运动,不记录交互力,因而丢掉了最关键的接触技能。

问题缺口

论文要解决的缺口是:能否在不让人学习机器人遥操作的前提下,同时获得自然的人类力—位交互示范,并把这些数据迁移到机器人可执行的控制接口;更具体地,策略不仅要预测“工具走哪条轨迹”,还要预测接触力参数,并通过位置与力方向正交的控制原语将两者稳定地落地。

方法

方法概述

ForceMimic 将接触力学习拆成两个可复用接口:ForceCapture 负责以低成本、自然的人手操作采集同步的位姿与六维 wrench;HybridIL 负责从点云、TCP 位姿和历史状态中,用扩散策略预测未来 20 步的位姿—力参数,并让正交混合力位控制器在机器人上执行。论文的贡献重点不在更大的模型,而在缩小示范采集的人机交互鸿沟,并把预测的力参数真正接到控制原语。

核心机制

ForceMimic 的流程分三层。第一层 ForceCapture 是一个手持、无需机器人的采集器:六轴力传感器位于手柄与工具之间,T265 SLAM 相机记录运动,外部 L515 RGB-D 相机提供点云;通过棘轮单向锁止隔离手指施力,并用静态平衡最小二乘估计工具重力。第二层将 SLAM 位姿变换为机器人 TCP 位姿,对点云做反投影、过滤和体素化,得到伪机器人训练数据。第三层 HybridIL 用点云特征、TCP 位姿和扩散时间嵌入预测未来 20 步的位姿与 wrench;当预测力连续超过 6N 时,控制器计算运动方向并把力投影到正交平面,执行混合力位跟踪,否则使用 IK 位置控制。

方法拆解

  • ForceCapture 硬件:固定工具版和可动夹爪版共享六轴 F/T 传感器与 SLAM 相机;夹爪版用编码器记录开合宽度,并用棘轮锁止避免手指开合力污染环境交互力。
  • 力数据校准与域迁移:传感器采样为 1000 Hz,SLAM 位姿 200 Hz,RGB-D 与夹爪编码器 30 Hz,后处理对齐到 RGB-D 频率;用准静态采样估计工具质心和重量并补偿自重,再把手持位姿映射到机器人 TCP。
  • HybridIL 预测:MLP 将点云编码成一维视觉特征,与 TCP 位姿拼接,修改 Diffusion Policy 预测未来 20 步位姿和 wrench 序列;动作相对观测提前 3 个时间步,训练 500 epochs。
  • 正交混合控制:连续预测力低于 6N 时用 IK 关节位置原语;连续超过阈值时根据前后位姿求运动方向,将预测力正交化后交给混合力位控制器,尚未接触时先施加反向按压力以建立稳定接触。
方法图
方法图
方法图
方法图

关键要点

  • ForceMimic 的关键工程洞察是把“自然采集”和“机器人执行”解耦:示范端追求人类真实交互,执行端再用可解释控制原语把 wrench—位姿参数转成机器人动作。
  • 力作为输入不一定自动带来收益:Force DP 和 Force+Hybrid DP 反而低于 Raw DP,原因是训练数据中的约 10N 力分布与部署期间约 20N、局部超过 40N 的交互力不匹配;HybridIL 的平均交互力约 9N,才与示范分布一致。

结果

  • ForceCapture 削皮采集约 5 分钟,力反馈遥操作超过 13 分钟,约三倍时间差;遥操作出现 3 次操作错误导致工作空间中断,而 ForceCapture 没有此类中断。
  • 15 根西葫芦、438 个削皮 skill segments、30,199 条动作序列;Raw DP 与 HybridIL 各执行 20 次,Force DP 和 Force+Hybrid DP 因表现较差各执行 10 次,所有模型训练 500 epochs。
  • 动作正确标准下 HybridIL 为 100%(20/20),Raw DP 为 80%(16/20);连续削皮长度超过 10 cm 时 HybridIL 为 85%,Raw DP 为 55%。
  • 相较 Raw DP,HybridIL 的成功率相对提升为 54.5%(按论文摘要口径);其执行平均交互力约 9N,Raw DP 平均约 20N,局部超过 40N。
结果图
结果图

结果速览表

方法动作正确连续削皮 >10 cm测试次数
Raw DP80% (16/20)55%20
Force DP60%10%10
Force+Hybrid DP80%20%10
HybridIL(本文)**100% (20/20)****85%**20

洞察

  • 这篇论文最值得保留的不是“加入力觉后成功率提高”,而是反例:Force DP 只有 60% 动作正确和 10% 长削皮,说明力信号若与示范分布、坐标变换和执行控制不一致,可能比不用力更糟。
  • ForceCapture 把数据采集从机器人可用性约束中释放出来:人直接与物体交互获得真实力觉,同时把机器人执行留给后端映射和控制器。这种拆分适合高接触成本、低频率但需要自然示范的任务。

和已有方法的关系

  • 相较 Facet-0 等直接把腕部 wrench 历史作为 VLA 条件、并预测未来接触后果的路线,ForceMimic 更早聚焦在“如何自然获得力—位示范”以及“如何把预测 wrench 变成控制参数”;它没有分布式价值后训练或大规模跨具身数据。
  • 相较只输出位姿的 Diffusion Policy,HybridIL 输出位姿与 wrench,并由正交混合控制原语执行;但论文的负结果表明,仅把 wrench 作为额外输入而不解决分布失配,并不能稳定提升性能。

可借鉴点

  • 在其他接触任务中,可让生成策略预测“位姿轨迹 + 不直接执行的交互参数”,再由经过稳定性分析的控制器将参数投影到可执行子空间;这样能保留策略表达力,同时把安全和正交性留在执行层。
  • 低成本采集器的设计应同时处理传感器自重、手指施力污染、坐标初始化和采样率对齐;这些工程校准往往比换一个更大的策略骨干更先决定数据是否可用。
洞察图
洞察图

风险与判断

局限

  • 主实验只有单一西葫芦削皮技能,15 根样本、438 个片段;尚不能据此证明 ForceCapture/HybridIL 对插入、装配、擦拭、软体切割等其他接触任务的泛化。
  • 采集时使用手持工具与外部 RGB-D,部署时使用 Flexiv Rizon 4、外部 L515 和固定削皮器;虽然做了位姿和点云迁移,但采集—部署的动力学与控制器差异仍可能造成域偏移。
  • HybridIL 的控制模式切换依赖经验阈值 6N 和“连续超过阈值”的启发式,且论文明确没有让模型直接预测最合适的控制原语;复杂接触可能需要更多原语或可学习的切换策略。
  • 力预测和位置控制必须正交,但模型本身不显式约束正交性,而是交给控制器后处理;这提高了执行稳定性,却也使训练目标与最终控制几何之间存在额外接口误差。

适用场景

  • 削皮、擦拭、沿面跟随、柔性材料切割等需要人类连续调节接触力、且工具形态可以固定或低成本复现的任务。
  • 希望在没有机器人采集设备的场地收集自然示范,再将数据迁移到配备 F/T 传感器与混合力位控制接口的工业机械臂场景。

最终判断

  • ForceMimic 的证据支持一条务实路线:用低成本手持设备采集真实接触力,再让策略输出可被控制器解释的力—位参数。它证明了单一削皮技能上的可行性,却没有证明纯力输入、跨任务泛化或无需动力学校准的通用性。

Contact-Rich Manipulation and Adaptive Compliance

接触密集操作中的运动—力联合学习路线:如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示,并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。

打开主题

Vision-Language-Action

VLA/WAM 从开放基座、多源数据、在线精修和长时程记忆,继续扩展到新感官模态、隐式空间表征对齐、几何世界建模、模块化世界—动作预训练、训练期物理模态蒸馏、动作接触后果预测与执行期闭环。

打开主题

继续阅读

上一篇

Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control

ACP 把柔顺性从低层控制器里的固定超参数提升为策略需要预测的动作变量:它从单条人体示范近似标注空间与时间变化的刚度方向和幅值,再由扩散策略结合视觉、位姿和力反馈生成。真实机器人翻转与花瓶擦拭分别达到 96% 和 93.75% 总成功率,显著超过固定柔顺和刚性位置策略。最值得记住的是它把接触约束转成可学习标签,但结论依赖慢速、轻物体、非夹持接触等明确假设。

下一篇

Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation

RDP 的关键不是“把力塞进 Diffusion Policy”,而是把力放到正确的时间尺度和网络位置:低频 latent diffusion policy 负责生成约 0.67 秒的高层动作块,快速 asymmetric tokenizer 则以 24 FPS 读取最新触觉或六维 wrench,把潜在动作解码成末端相对位姿。模型不输出目标力、阻抗或力矩,学到的是“看到这种受力与任务阶段时,位置应该再压入、退出还是沿曲面移动一点”。 这正面回应“小位移很难学、策略浮在表面”的问题。论文观察到有效修正确实只有亚毫米级:削皮器受力突增时向上卸力,接近黄瓜末端时向下压入以继续贴面,双臂夹杯接触后向外修正以免压瘪。真正决定能否学到的不是位移绝对值,而是示范中是否有稳定的“力变化—微位移—接触结果”相关性,以及训练、推理和机器人执行是否在时间上对齐。