Blind Precise Assembly: Proprioceptive Sim-to-Real Peg-in-Hole for Diverse Parts
Blind Precise Assembly: Proprioceptive Sim-to-Real Peg-in-Hole for Diverse Parts
一句话结论
关节编码器不仅记录手臂在哪里，也记录运动怎样偏离命令。本文证明，这种间接接触通道足以支撑局部精密装配：策略只读0.6秒关节位置、速度、由正运动学得到的夹爪状态及上一步动作，不读图像、力、力矩、触觉、孔位或零件模型。纯仿真PPO学会插孔、齿轮啮合和螺母起扣；插孔在真实机器人上无需微调，八种零件237次测试成功173次，即73%。 三项设计相互配合：mjfit程序化生成保持间隙的碰撞几何；历史编码器从动作后果推断接触；训练期接触标签辅助表示学习。更耐受未见几何不代表未知零件已解决：随机凸截面盲策略36.2%、视觉3.9%。真实实验仅覆盖插孔，所有任务从零件已接触夹具的位置开始。
摘要
中文摘要
机器人的关节本身可以充当接触传感通道。腿式和人形机器人已经利用它实现无视觉运动，但精密装配需要感知更微弱的接触。作者研究只观察短时关节位置、速度与自身动作的策略，不提供视觉、力、力矩、触觉、夹具位姿或零件模型，并大量随机化抓持。完全在仿真中通过强化学习训练的策略能够插孔、啮合齿轮和给螺母起扣。其中插孔策略零样本迁移到真实世界，在不同形状尺寸零件上达到73%成功率。受控仿真对照表明，盲策略对未见形状尺寸的泛化明显优于视觉策略，但部分任务更慢。为支持大量装配训练，作者提出MuJoCo程序化几何生成器，用精确凸块保持装配间隙，在所测基准中比近似凸分解与原生网格SDF更准确、更快。此段为摘要释义。
英文摘要
Every robot already carries high-resolution contact sensors: its own joints.
这里仅摘录摘要首句；完整英文摘要见原文摘要页，下节提供完整内容的中文释义。
直观理解
闭眼插钥匙时，人根据受阻、滑动和突然下落调整动作。机械臂没有独立触觉皮肤，但接触力会通过连杆改变关节运动。同一个命令在自由空间、顶住平面、卡住孔边和进入孔内时产生不同响应。短历史让策略推断应该扫动、转动、下压还是纠偏。
“盲”不等于固定螺旋搜索，也不等于从静态关节角精确重建孔位。它学习的是任务相关接触状态。上游仍需把抓好的零件送到夹具附近并建立接触；掉件或远离孔后的恢复不在能力范围内。
背景与问题
为什么做
精密装配中的零件倾斜、抓持偏心和孔位误差会在接触后被放大，刚性位置追踪容易卡住。视觉可能被手持零件遮挡，而腕部力矩和指尖触觉增加硬件与标定成本。关节编码器本来就存在，若其运动响应足以表达轻微接触，就有机会构建成本较低、不依赖零件外观的局部装配控制器。
问题缺口
腿式机器人靠本体感觉处理强力、大幅接触，不能直接证明轻接触和毫米级插孔也可行。已有插孔方法常需要已知目标位姿、抓姿、图像或力觉；同时普通凸分解可能把材料塞进应当空出的孔和螺纹间隙。本文同时验证信息充分性、反应式控制机制，以及大量可信碰撞资产的生成方法。
方法
方法概述
用mjfit生成配合零件，在MuJoCo中随机化几何、摩擦、夹具位置和抓持姿态。回合从接触但未对齐的状态开始。策略把最近30步本体观测压缩成潜变量，与当前观测一起生成七维关节位置增量，再由阻抗控制器执行。PPO使用成功和阶段里程碑奖励，非对称critic与接触辅助分类提供训练期特权监督；部署只保留历史编码器和动作头。
核心机制
静态关节位置同时受构型、负载、摩擦和抓持影响，不能直接等同于接触类别。时间编码器把过去的动作与后续运动放在一起，从动态响应学习接触。仿真器在配合边缘采样点并标记自由、接触但未对齐、进入配合区域等状态，辅助分类损失迫使潜变量保留相关信息。动作头只读取由可观测历史产生的潜变量，不读取接触真值，也不读取接触解码器预测。因此训练可借助密集标签改善表示，部署仍满足纯本体信息约束。辅助接触监督主要加速学习，移除后任务仍能学会。
图7将部署可用的本体历史路径与仅训练使用的辅助监督路径分开。
方法拆解
- 精确构造碰撞资产。 输入二维孔轮廓和可选内部岛状结构，mjfit分割孔外板面为凸多边形并拉伸成凸棱柱，再按指定间隙向内偏移生成插入件。曲线用外切多边形近似，误差朝额外游隙方向，不会凭空堵孔；相同思想扩展到齿轮和螺纹并输出MJCF。
- 定义局部任务与阶段奖励。 插孔要求底面完全入孔，齿轮要求套轴、啮合并落到轴肩附近，螺母要求起扣后再转四分之一圈。最长回合分别5、10、15秒；首次捕获、首次啮合、旋转进度和最终成功给一次性奖励，零件远离夹具时终止。
- 编码历史并生成动作。 插孔与齿轮每步33维，包括7维关节位置、7维速度、12维夹爪位姿/twist和7维前一步动作。螺母以旋转矩阵两列表示姿态，扩为36维。时间卷积把30步历史压成32维潜变量，MLP宽度256/256/128，输出七维关节位置增量。
- 训练期接触监督与价值学习。 非对称critic读取相对零件位姿与真接触标签；两层各128维的解码器从潜变量预测接触类别。插孔在底边采64点，齿轮在轴边与齿尖各64点，螺母还区分绕住螺栓与起扣。类别加权交叉熵更新编码器，但解码器部署时移除。
- PPO连接阻抗闭环。 12,288个并行世界、32步rollout，学习率3e-4、clip 0.2、gamma 0.98、GAE lambda 0.95。增量加到当前实测关节位置上交给阻抗控制器。机械臂armature、阻尼和摩擦根据真实测量辨识，零样本迁移不意味着没有真实系统辨识。
- 扩大部署随机化再冻结。 泛化研究使用窄分布study策略；真机策略另以随机凸、光滑和混合轮廓训练，扩大摩擦、夹具位置和抓内倾斜范围，起点距孔中位数约2cm。任务学会后加入速度与命令力矩惩罚，再冻结部署，无真实示范或参数微调。
关键要点
- 保持碰撞间隙是学习前提；被近似几何堵住的孔无法靠更多训练恢复正确物理后果。
- 接触真值只作用于训练表示和critic，不是部署传感输入；不能把辅助分类器描述为动作头的接触观测。
- 必须区分窄分布泛化实验与宽分布真机策略，不能把二者数值混用。
结果
结果速览表
| 设置 | 结果 | 对照与边界 |
|---|---|---|
| 真实插孔，8件237次 | 173成功，73% | 已建触，单侧间隙0.5–1.5mm |
| 真实OOD三件 | 约66%/66%/72% | 更紧/更大/更高把手 |
| study插孔成功率 | 99.4% | RGB-only 97.2% |
| 插孔就位中位数 | 0.80s | 视觉0.44s |
| 匹配横向路程 | 37mm | 视觉20mm，螺旋95mm |
| 未见随机凸截面 | 36.2% | 视觉3.9% |
| 到90%训练成功的加速 | 2.7/3.8/5.1倍 | 插孔/齿轮/螺母 |
| 宽分布新实例 | 齿轮98%，螺母93% | 仿真，分布内，各8192回合 |
| 插孔模式探针 | 平衡准确率70% | 当前观测56%，随机编码器33% |
| mjfit方孔误差 | 0.2μm | 20μm径向间隙，固定求解器 |
洞察
风险与判断
局限
- 全部任务从已建触开始，无法覆盖掉件远离夹具等非局部恢复。真机仅单机械臂、夹爪与3D打印插孔，齿轮和螺母为仿真结果。0.5mm单侧插孔间隙不能等同微米级工业过盈，螺母起扣不能等同拧紧。跨机器人刚度、编码器噪声和带宽迁移未验证；73%也不足以直接视为生产可靠性。
适用场景
- 已抓取、可稳定建触、允许局部扫动和柔顺接触的最后一段插入；遮挡明显或希望减少力触硬件的研究系统；需要批量保持孔隙与螺纹的MuJoCo训练资产。易损件、严格峰值力约束、远距离搜索与掉件恢复需要额外监测和控制机制。
最终判断
- 本文有力验证关节运动历史能够支撑轻接触精密装配，真实73%和表示干预共同支持物理可行性。最可复用的是纯本体历史闭环、训练期接触表示监督、精确间隙资产三者组合。适合作为低成本末端技能基线，但不支持完整装配不再需要视觉或力触觉的结论。应用前应验证目标硬件的接触力、带宽、公差与失败恢复。
相关主题
Contact-Rich Manipulation and Adaptive Compliance
接触密集操作中的运动—力联合学习路线：如何从示范、实时反馈、关节力矩、训练期力蒸馏、力域动作或动作后果预测获得任务相关接触表示，并在安全接触、轨迹精度、硬件成本、快速响应与控制带宽之间动态权衡。
打开主题
继续阅读
上一篇
No Eyes, No Problem: What Does Touch Contribute to Blind Baoding Ball Manipulation?
这篇论文回答一个很具体的问题：在完全不用视觉和物体状态估计的前提下，灵巧手仅靠本体感觉和二值触觉能做多久的双手内保定球旋转？答案是：在 Shadow Dexterous Hand Lite 上，策略零样本从仿真迁移到真机，单次连续试验完成 225 个 180° 旋转（112.5 整圈），约 0.36 rot/s，是迄今保定球操作最强的硬件结果。能迁移的关键不是更大的模型，而是三件事：把 Isaac Lab 默认资产里错误的 PIP/DIP 固定比例耦合改成硬件真实的顺序耦合；提出两种 episode 级随机化——SlewDR（动作斜率限制随机化，让策略学会硬件跟得上的平滑动作）和 STAT（随机把若干触觉通道整 episode 卡死在 0 或 1，迫使策略不过度依赖单一通道）；再加上基于空手基线的迟滞双阈值触觉标定。消融显示触觉的主要贡献不是产生动作节律（本体感觉策略自己就有节律步态），而是把名义步态修正成完成的旋转并在球位偏离时恢复：同一 checkpoint 关掉触觉后，整圈数从 34.75 掉到 5.0。
下一篇
Physical Words: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation
值得记住的是用离散动作语义组织连续未来动力学的接口。PhysWord 在 UniVTAC 达到 90.3%，LIBERO-Long 达到 99.6%，四项真机任务平均 71.7%；长任务消融为语义锚点的价值提供了比可视化聚类更直接的证据。它尚未证明开放词汇技能组合或任意无触觉部署。