Contact-Rich Manipulation and Adaptive Compliance
接触密集操作中的运动—力联合学习路线:如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示,并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。
正文
Contact-Rich Manipulation and Adaptive Compliance
这条路线研究机器人在持续接触中如何同时“走对轨迹”和“用对力”,并让柔顺方向与幅值随任务阶段、接触几何和扰动动态变化。
这条主题在讲什么
接触密集操作不是纯位置预测问题。刚性控制能压住轨迹误差,却可能把几毫米的视觉或标定偏差放大成巨大内力;各方向统一放软虽然降低碰撞风险,又会因摩擦和外力偏离目标。真正需要的是任务相关、方向相关、时间相关的柔顺性:接触前保证定位,接触后沿约束方向让步,在仍需追踪的方向保持足够刚度,并在几何变化或扰动出现时快速重估。
这个问题会反复出现在擦拭、翻转、插入、沿面跟随、装配、灵巧手和双臂协作中,因此它不是普通 tag,而是一条连接示教学习、力/触觉表示、动作生成和低层控制器接口的持续问题线。
为什么重要
- 真实机器人误差不可避免,纯位置策略容易把误差转成危险接触力。
- 固定均匀柔顺不能同时满足精确追踪和安全接触,柔顺性必须随方向与阶段变化。
- 学习策略通常低频运行,稳定接触还需要高频导纳、阻抗或触觉反馈回路兜底。
- 不同机器人开放的控制接口不同,动作表示是否能跨硬件执行会直接决定方法的工程价值。
当前理解
Blind Precise Assembly 提供纯本体历史的局部接触路线:0.6秒运动与动作历史配合训练期接触监督,真实插孔173/237成功;依赖已建触起点。未见凸截面36.2%对视觉3.9%,体现相对泛化优势与绝对可靠性不足并存;mjfit则强调保持仿真间隙的必要性。
- T-WLA:缓存历史视觉记忆与基础块,以119.1 Hz触觉修正未执行动作;真机自身触觉消融47.25%→50%,应区分强视觉先验与触觉贡献。
| 子问题 | 代表材料 | 当前证据 |
|---|---|---|
| 单条示范无法辨识完整人体阻抗时,怎样得到可学习标签? | Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control | 不恢复真实质量、阻尼和刚度;只构造满足避免巨大内力与鼓励轨迹跟踪两项性质的近似柔顺轮廓。 |
| 柔顺方向怎样表示? | Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control | 沿反馈力方向设低刚度、正交方向设高刚度;参考位姿与虚拟目标之差编码低刚度方向。 |
| 学习策略和低层控制器怎样分工? | Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control | 扩散策略滚动预测参考位姿、虚拟目标和刚度标量,高频导纳控制器执行重建后的刚度矩阵。 |
| 不显式输出目标力时,怎样学到主动接触修正? | Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation | 慢速 latent diffusion 规划 action chunk;快速非对称 tokenizer 用最新力/触觉条件化解码,在位姿动作空间产生亚毫米级闭环修正。 |
| 高频接触反馈还能怎样进入现代生成策略? | Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation、T-Rex: Tactile-Reactive Dexterous Manipulation、TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback | 三种接口分别是独立快速动作解码器、共享 flow 轨迹上的快慢专家,以及单一流式专家内可修订的未来动作块。 |
| 接触反馈怎样成为长期任务进度,而不只服务即时纠偏? | FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation | 用重建预训练的 Force-VAE 把完整 wrench 历史压成 8 个长期事件 token,再由约 0.9 秒的 state token 提供接触前运动上下文。 |
| 部署平台没有力传感器时,训练期真实力还能怎样发挥作用? | FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation | 用真实力潜变量监督视觉—状态条件化的 learnable query;推理时只保留预测力 token,但它是任务相关先验而非安全级闭环力反馈。 |
| 怎样让策略在动作执行前就比较接触后果,而不只在碰撞后响应? | Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation | 联合生成笛卡尔动作块与未来 wrist-wrench,再由分布式 Action–Wrench Critic 区分几何进度相似但接触结果不同的提案;预测 wrench 不直接执行。 |
| 如何以自然的人手交互采集真实力—位示范,并将其迁移到机器人控制? | ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation | ForceCapture 在无机器人条件下记录六维 wrench、SLAM 位姿和 RGB-D;HybridIL 预测位姿—wrench,并由正交混合力位控制器执行。 |
| 高频腕部 wrench 怎样与低频 RGB 保持异步时间结构? | ManipForce | 手持双相机 + 3D ArUco + 200Hz F/T 采集自然示教;FMT 用频率/模态嵌入和双向 cross-attention 融合,六任务平均成功率 83%,齿轮任务从 30Hz 力采样的 40% 提升到 200Hz 的 95%。 |
| 人类分布式触觉能否低成本扩充灵巧手接触示范? | TACROSS | 10.86 美元压阻手套以约 150 Hz 覆盖掌指接触;接触语义对齐后,150 条人类示范加 30 条机器人示范达到 91.9% 四任务均值,而去掉语义对齐只有 49.4%。 |
| 如何在不增加复杂低层力控参数的情况下,把高频力觉用于接触阶段纠偏? | FoAR: Force-Aware Reactive Policy for Contact-Rich Robotic Manipulation | 独立未来接触预测器以 phi 门控力觉特征,并在 phi>=0.9 且力/扭矩不足时沿动作方向做 0.006m 位置修正;100Hz 力觉、反应式控制与视觉扩散策略协同工作。 |
| 低维 wrench 怎样避免被高维视觉掩盖,并同时支持物理与空间 OOD? | ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching | 十步 wrench 与本体状态通过 AdaLN 全局调制 flow-matching DiT,视觉只作 cross-attention 空间锚定;V2F 再把 VLM 定位与局部接触执行解耦。 |
| 示范中没有残差标签时,怎样为快速接触修正构造显式监督? | ForceDelta-VLA | 冻结教师用同一视觉语言前缀、状态和流噪声输出力条件/力无关成对预测,位姿差作为力修正目标;另一个延迟目标补偿旧参考与当前参考及状态差。 |
| 低频 VLA 怎样把期望力交给高频控制器,并在动作块内部持续柔顺? | CR-VLA-Force | pi0 每秒预测一次位姿—夹爪—力动作块,历史力 token 与残差 MoE 负责接触感知,VG-ACC 以 500 Hz 根据力误差趋势调刚度;六条件平均成功率 89.2%,擦板 base 力误差 5.52%。 |
| 生成策略能否直接在力域学习专家接触行为? | TacDiffusion | DDPM 生成六维前馈 wrench,动态系统滤波升频至 1 kHz 并接入阻抗控制;DF3 未见几何平均 95.7%,而更大、更低损失但仅 51.2 Hz 的 DF4 退化。 |
| 低成本关节力矩应如何接入预训练 VLA? | TA-VLA | 力矩放 action decoder、整段历史压成一个 token、联合预测未来 torque 最有效;π0 五项接触任务从 23% 提升到 86%。 |
| 指尖触觉能否解决长程灵巧操作中的接触不确定性? | ADEPT | 五指 TacMap 提供每个指尖的 penetration/contact 证据;同一 Flexiv-Sharpa square/round 插入任务中,视觉学生 3/10,触觉学生 8/10,抓后 reopen/regrasp 级联失败明显收敛。 |
| 移动操作的反作用力怎样同时反馈给任务策略和机身? | FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation | 200 Hz 双分支残差估计同时条件化 π0.5 和有界底盘补偿;擦板/开门最终 64%/52%,但估计信号仍为代理负载,v2 存在正文与表格数值冲突。 |
关键设计轴
See to Reach, Feel to Grasp:五帧关节角与限速后命令误差即可训练局部盲抓策略;抓握分数与机械臂阶段机双向协调,支持重抓。仿真动态成功率 92%,真机展示 29 种物体但无重复成功率统计,补充低传感接触代理路线;不能据此判定专用触觉普遍多余。
柔顺来源:解析接触模型、重复示范统计、单示范近似标签、强化学习探索,或执行期触觉修正。
空间结构:统一标量刚度、逐轴对角刚度、完整六维刚度矩阵,还是由参考目标与虚拟目标隐式编码方向。
时间结构:接触前预调、接触后响应、动作 chunk 内反馈更新、突发扰动恢复,以及跨整个 episode 的接触事件计数与进度记忆。
策略—控制接口:策略直接输出力、刚度、导纳参数、虚拟目标,或只输出由独立高频控制器修正的位置动作。
观测硬件:腕部六轴力矩适合估计整体接触方向,指尖触觉适合局部滑移与形变;二者的可迁移性、成本和带宽不同。
评测目标:任务成功率之外,还应记录峰值力、工具/物体损坏、接触保持时间、轨迹误差和扰动恢复。
当前判断
ACP 给出了一个很有价值的最小接口:策略无需显式知道接触雅可比,只需从示范学习参考位姿、虚拟目标和刚度幅值,就能把方向性柔顺交给成熟低层控制器执行。它证明“柔顺性应该成为策略动作的一部分”,而不是部署时手工固定的控制器超参数。
但当前证据仍主要来自慢速、轻物体、非夹持接触和单一 UR5e 平台。后续路线需要把这一接口与高频指尖触觉、六维柔顺、跨硬件动作表示和在线恢复结合起来,才能判断它是否能从两项强演示扩展为通用接触操作方法。
FM-VLA 又补充了另一条轴:force 不仅是高频控制反馈,也可以成为低成本的 episodic memory。它在按钮计数和重复擦拭上显著胜过视觉记忆,说明接触策略需要同时设计快反馈与慢记忆;不过固定 8-token 压缩目前只在单一双臂平台、三项小规模任务上成立。
FD-VLA 则把真实力从“部署期输入”改成“训练期教师”:预测力 token 的三任务平均成功率为 61.1%,高于直接真实力 token 的 51.1%。这说明控制所需的接触表示可以经过视觉—状态条件化与任务损失筛选,但也划出清晰边界——没有实时传感器时,模型无法可靠捕捉视觉和本体状态不可辨识的突发碰撞、隐藏卡阻或摩擦突变。
Facet-0 把这条路线再推进一步:历史 wrench 不只条件化动作生成,未来 wrench 也作为动作后果与动作块联合提出,并由部署期价值模型评价。五项亚毫米电脑装配中,完整系统平均成功率为 82%,而语义—接触对齐和价值后训练两级分别只有 16% 与 38%;这既支持预测接触后果的价值,也说明当前高成功率强依赖任务级 bounded actor,不能直接外推为无需适配的通用接触能力。
ForceMimic 则从数据入口补上另一块:ForceCapture 让人直接操作手持工具,五分钟完成一次削皮示范,避免力反馈遥操作的十三分钟级耗时和三次操作中断。它的 HybridIL 在单一西葫芦削皮任务中达到 100% 动作正确率和 85% 的连续长削皮率,但同时揭示了数据—控制一致性的硬门槛:仅把机器人力传感作为输入的 Force DP 反而只有 60%/10%,因为训练示范约 10N 的力分布与部署约 20N、局部超过 40N 的交互不匹配。
ManipForce 进一步把数据接口和表示接口绑在一起:它不满足于把 200Hz wrench 降采样到 30Hz 图像流,而是用频率感知嵌入与双向 cross-attention 保留异步时间结构。其证据说明“有力”本身不充分,采样频率与 tokenization 位置会决定瞬时卡滞、插入尖峰等事件是否可见;但该系统仍依赖外部 ArUco、单一 Franka 平台和部署侧柔顺控制器,不显式输出安全力目标。
ForceFlow 进一步给出一条“力作为全局调节条件”的融合路线:十步 wrench history 通过 AdaLN 进入每个 DiT block,视觉序列只通过 cross-attention 提供空间锚定,同时把未来 wrench 作为动作生成的辅助目标。它在六项任务中达到 81.67% 平均成功率和 8.23 N 平均 Force Cost,消融又把历史与预测的角色拆开——前者主要决定可行性,后者主要改善力质量。不过 32/64 步执行、约 1.15 秒的重规划周期也说明,这仍是中频滚动策略,不能替代执行器侧的高频安全回路。
ForceDelta-VLA 则把“参考动作与接触修正”变成显式监督问题:冻结教师在同一上下文、状态和噪声下输出力条件与力无关两个动作块,用差值定义力修正;延迟头再学习异步参考块和参考状态变化。修正器 2.43ms 的前向延迟低于 100Hz 控制命令间隔,九任务平均成功率 82.2% 并将成功试验峰值力降低约 26%。这补上了“高频反馈学什么”的关键一环,但每任务 200 条示范、关节力矩估计和成功试验力统计仍限制其安全与跨平台外推。
CC-VLA 则把这个缺口变成显式系统接口:1 Hz 的 pi0 输出期望位姿和前馈力,500 Hz 的 VG-ACC 根据实时力误差在线调刚度。它在擦板 base/OOD 上把相对力误差压到 5.52%/8.78%,并在六个按钮、插入、开窗条件上达到 89.2% 平均成功率。这个结果支持“慢策略给目标、快控制器保接触”的路线,但其安全性仍只在单台 UR5e 和有限位姿偏移中验证,不能当作端到端形式化保证。
TacDiffusion 与 TA-VLA 把动作接口和传感成本的两端补齐。前者直接生成六维前馈 wrench,并用动态系统把 DF3 的 141.8 Hz 目标升频到 1 kHz 阻抗回路;后者不改动作接口,只用原生电机电流估算的关节力矩条件化 VLA。TacDiffusion 证明闭环频率会让最低离线损失模型反而失败,TA-VLA 则证明 decoder 侧单 token 历史比堆叠多个历史 token 更有效。二者共同说明:接触能力既不是单纯的模型容量问题,也不是“接一条力输入”就能解决,策略—控制频率和预训练接口结构都属于方法本体。
FWBC-VLA 将反馈范围从机械臂扩展到移动机身。其接触阶段消融中,仅有交互感知时带闭门器推门成功率为 0%,继续加入机身补偿后为 52%;四项均值按表 3 应为 65%,并非正文的 59.5%。这支持持续受力场景中任务动作与身体稳定需要共同闭环,但低负载标定、单平台双任务及不完整复现细节限制了外推。
SGS 则提醒我们,接触任务的另一种瓶颈可能是经验分配而非感知表示:在 NIST 装配任务上,它用任务配置成功率把大规模仿真 rollout 集中在可学习边界,1M 环境下 Franka 螺母装配达到约 70%,而 uniform/PLR 仅约 6%/5%。不过实机 UR5e 螺母零样本成功率只有 37.5%,且操作策略是逐任务训练;它证明的是接触任务 RL 的 reset 调度价值,不是通用接触策略已经解决。
未解决问题
- 接触力不再主导、摩擦或惯性显著时,沿合力方向放软是否仍是正确近似?
- 多点夹持会违反非夹持锥假设,如何在不丢失抓持稳定性的情况下选择柔顺子空间?
- 一秒后见平滑能提前标注接触,但突发碰撞没有未来信息;训练和执行之间的差异如何补偿?
- 能否用低成本腕力估计、视觉接触估计或电机电流替代高端六轴力矩传感器?
- 面向安全的评测怎样避免“刚性基线先损坏工具、因而无法完成统计”这种不完整比较?
- 同一平台同时提供关节 torque、末端 wrench 和局部触觉时,怎样按任务阶段选择信号,而不是把不同坐标语义粗暴拼接?
相关页面
A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation
Adaptive Compliance Policy: Learning Approximate Compliance for Diffusion Guided Control
Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation
FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation
Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation
ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching
ForceDelta-VLA: Distilling Force-Conditioned Action Corrections for Contact-Rich Manipulation
TacDiffusion: Force-domain Diffusion Policy for Precise Tactile Manipulation
TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models
ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback
Physical/Embodied Intelligence(domain)
OM-1:统一采集接口与跨本体执行
- OM-1 将可穿戴人类示教、多模态策略与仿真 RL 控制串联。其贡献是接口与执行的系统方向;博客未披露总数据规模和统一任务成功率,暂不据此调整既有性能排序。
- 待验证:固定策略跨本体时,需要多少控制器训练、标定和观察/动作适配?
相关材料
Blind Precise Assembly: Proprioceptive Sim-to-Real Peg-in-Hole for Diverse Parts
关节编码器不仅记录手臂在哪里,也记录运动怎样偏离命令。本文证明,这种间接接触通道足以支撑局部精密装配:策略只读0.6秒关节位置、速度、由正运动学得到的夹爪状态及上一步动作,不读图像、力、力矩、触觉、孔位或零件模型。纯仿真PPO学会插孔、齿轮啮合和螺母起扣;插孔在真实机器人上无需微调,八种零件237次测试成功173次,即73%。 三项设计相互配合:mjfit程序化生成保持间隙的碰撞几何;历史编码器从动作后果推断接触;训练期接触标签辅助表示学习。更耐受未见几何不代表未知零件已解决:随机凸截面盲策略36.2%、视觉3.9%。真实实验仅覆盖插孔,所有任务从零件已接触夹具的位置开始。
A Balanced Data Diet: Addressing the Exploration Bottleneck in Mega-Scale RL for Robot Control
SGS(Success-Guided Sampling)解决的不是“新的策略网络”或“新的 PPO 更新规则”,而是大规模并行 RL 里经验分配的瓶颈:uniform reset 会把大量环境浪费在策略已掌握或完全解不了的配置上。它为每个固定任务配置维护最近 100 次布尔成功记录,用 Beta 形核给中等成功率区域更高权重,再经 softmax 抽样,同时用数值下限保证困难配置仍会被偶尔重访。作者在最多约 1M 并行环境的仿真中验证:1M 环境下多地形 ANYmal-D 成功率约 73%,高于 PLR 的 54%;Franka 螺母装配约 70%,而 uniform 和 PLR 分别约 6% 和 5%。不过,操作任务是逐任务训练策略,不是单个通用策略;实机 UR5e 三个任务零样本成功率从 37.5% 到 94% 不等,sim-to-real 差距仍真实存在。
ForceDelta-VLA: Distilling Force-Conditioned Action Corrections for Contact-Rich Manipulation
ForceDelta-VLA 的关键不是再训练一个更大的 force-aware VLA,而是把慢速生成式动作块拆成“可复用参考动作 + 快速位姿修正”。冻结教师通过同一状态、同一视觉语言前缀和同一流噪声下的力条件/力无关成对预测,为无标注示范合成显式力修正标签;另一个延迟头学习参考块陈旧和参考状态变化带来的补偿。学生在 2.43ms 内输出五步位姿修正,九个单臂/双臂实机任务平均成功率 82.2%,高于 ForceVLA 的 54.4% 和时序教师的 70.6%,并在两个平台均降低约 26% 的成功试验平均峰值接触力。
Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
RDP 的关键不是“把力塞进 Diffusion Policy”,而是把力放到正确的时间尺度和网络位置:低频 latent diffusion policy 负责生成约 0.67 秒的高层动作块,快速 asymmetric tokenizer 则以 24 FPS 读取最新触觉或六维 wrench,把潜在动作解码成末端相对位姿。模型不输出目标力、阻抗或力矩,学到的是“看到这种受力与任务阶段时,位置应该再压入、退出还是沿曲面移动一点”。 这正面回应“小位移很难学、策略浮在表面”的问题。论文观察到有效修正确实只有亚毫米级:削皮器受力突增时向上卸力,接近黄瓜末端时向下压入以继续贴面,双臂夹杯接触后向外修正以免压瘪。真正决定能否学到的不是位移绝对值,而是示范中是否有稳定的“力变化—微位移—接触结果”相关性,以及训练、推理和机器人执行是否在时间上对齐。
FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation
FM-VLA 的关键不是给 VLA 再塞一种当前时刻传感器,而是把整段腕部力/力矩历史压缩成可供动作专家读取的长期事件记忆。它在找隐藏积木、精确计数按钮按压与碗内擦拭三项非马尔可夫任务上达到 83.3% 平均成功率,显著超过视觉记忆 π-MEM 的 53.7%,推理延迟仅比无记忆 π0.5 增加 3.3 ms。最值得记住的是“长时 force + 短时 state”的职责分工,但证据目前仍限于单一双臂平台和小规模任务。
ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation
ForceMimic 解决的不是“给机器人加一颗力传感器”,而是先用一个约 50 美元的手持 ForceCapture 在没有机器人的情况下采集自然的人类力—位交互,再把示范转成伪机器人数据;HybridIL 用扩散策略同时预测位姿和 wrench,并在执行时按力阈值切换正交混合力位控制。西葫芦削皮实验中,它的动作正确率为 100%、连续削皮超过 10 cm 的成功率为 85%,优于 Raw DP 的 80%/55%。
ForceFlow: Learning to Feel and Act via Contact-Driven Flow Matching
ForceFlow 的关键不是简单给模仿策略多拼一组力信号,而是让十步力历史通过 AdaLN 在每个生成层持续调制动作,同时让视觉只通过 cross-attention 提供按需空间参考,再用“动作 + 下一步六维力”联合预测形成隐式柔顺正则。六项真机任务平均成功率为 81.67%,较输入模态相同的 ForceVLA 45% 高 36.67 个百分点;但它仍依赖高质量六轴力矩传感器、手工标注的 VLM 接触点数据与单一 xArm6 平台,不能直接外推成低成本通用接触策略。
CR-VLA-Force: Learning Control-aware Compliance VLA Model for Robust Contact-rich Robotic Manipulation
CR-VLA-Force 的真正贡献不是再给 VLA 增加一个力觉输入,而是把 1 Hz 的慢速 VLA 与 500 Hz 的自适应柔顺控制器组成分层闭环:模型联合预测位姿和前馈力,控制器用实时力误差连续调刚度。六个力觉/接触条件平均成功率达到 89.2%,高于 ForceVLA 的 73.2%;擦板 40 N 跟踪误差降到 5.52%(base)和 8.78%(OOD)。但它的泛化证据仅覆盖单台 UR5e、四类任务与有限位姿偏移,“安全”主要来自工程控制约束而非整个学习系统的形式化保证。
TacDiffusion: Force-domain Diffusion Policy for Precise Tactile Manipulation
TacDiffusion 把扩散策略从常见的位姿/关节动作域移到六维力域:模型根据外部 wrench、内部 wrench 和末端速度生成前馈 wrench,动态系统滤波器再把 50–500 Hz 的模型输出平滑升频到 1 kHz,交给阻抗控制器执行。最佳的 DF3 在四种未见几何上的平均成功率为 95.7%,高于行为树专家基线的 83.3%;但更大的 DF4 虽然离线损失最低,却因只有 51.2 Hz 的推理频率而显著退化。这篇论文最强的结论不是“模型越大越好”,而是力策略的预测质量必须与控制带宽一起优化。
TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models
TA-VLA 不是只提出一种新网络,而是系统回答力矩应该怎样进入预训练 VLA:关节力矩应接到动作解码器而非视觉语言编码器;一段力矩历史应先聚合成一个 token,而不是逐帧占用多个 token;训练时还应让模型联合预测未来动作与未来力矩。三项设计叠加后,π0 在五项接触密集任务上的总成功率从 23/100 提升到 86/100,在五项普通操作上仍从 85% 小幅升到 89%。证据说明廉价电机电流推算的关节力矩确实能补足视觉,但它不是经标定的末端接触力,跨机器人证据也仍很有限。
ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
ADEPT 把高自由度灵巧操作学习拆成“通用预训练 + 稳定后训练 + 感知蒸馏”三层:先用 8B 环境步在 16 类几何 primitive 上训练 reposing 教师,学到 reach、grasp、lift、in-hand reorient、transport 等可复用技能;再把教师迁移到 FMB peg insertion 与 dish-rack placement,用 actor 蒸馏、critic warm-up 和低学习率 PPO 避免灾难性遗忘;最后蒸馏成只看 RGB 或 RGB+五指触觉的学生策略,零样本部署到 23 DoF Kuka-Allegro 和 29 DoF Flexiv-Sharpa。关键实验结论是:直接 PPO 微调会迅速把预训练能力打到 0%,而 ADEPT 后训练在 3B 步内得到稳定教师;真机长程任务中,视觉学生取得 3/10–6/10 成功率,加入指尖触觉后同一 Flexiv-Sharpa 方形/圆头插入任务提升到 8/10。这个结果同时说明,预训练不必覆盖全部下游技能,但必须把策略放到一个 downstream RL 能继续发现解的初始区域。
ManipForce: Force-Guided Policy Learning with Frequency-Aware Representation for Contact-Rich Manipulation
ManipForce 的价值在于把“接触示教怎么采”和“高频力觉怎么进策略”合成了一条闭环:手持系统用双目手眼 RGB、外部 3D ArUco 跟踪和腕部 AIDIN AFT200 六维 F/T 传感器记录自然人手示教,F/T 达 200Hz、RGB 和位姿为 30Hz;策略侧的 FMT 不把力信号降采样成图像帧的附属输入,而是用频率感知时间嵌入、模态嵌入和双向交叉注意力,把异步视觉 token 与力 token 融入 Transformer Diffusion Policy。六个真机任务上,FMT 平均成功率 83%,DINOv2-B 版 RGB-only Transformer DP 为 22%;最难的电池拆装/插入仍只有 65%/60%,说明力觉没有消除接触任务的全部不确定性。齿轮装配的 F/T 采样从 30Hz 提到 200Hz 时成功率 40%→95%,是论文最直接的频率证据。
相关综述
机器人策略中的力觉与触觉:从信号语义到闭环控制
综合十八篇材料,按力/触觉信号的角色、坐标语义和时间尺度重整机器人策略路线:传感与采集、表示与适配、执行期反馈、事件记忆与后果预测,以及由低层控制器落实的力位与柔顺接口。