Tactile Representation
触觉与力觉如何从传感设计、跨硬件共享表示，进入预训练策略的持续适配、快慢控制与执行期流式闭环。
正文
Tactile Representation
跟踪触觉与力觉从传感器选择、共享表示，到预训练策略适配和执行期反馈的完整接口链。
这条主题在讲什么
触觉是接触丰富操作的关键观测，但传感器天然异构：光学式（GelSight 类）给稠密空间信息但帧率受限，阵列式或 F/T 传感器给高频力学信号但空间结构更弱。问题也不止是学一个 backbone：旧的视觉策略通常没有触觉标签，动作生成器又可能在执行前一次性定稿。本主题因此追踪一条连续问题线——如何选传感信号、学习可迁移表示、把新模态接入已有策略并在执行时及时使用它。
为什么重要
- 触觉是 vision-language-action 模型目前缺的那一路高密度接触信号
- 没有可迁移的触觉 backbone，每次换传感器都要重训策略
- 触觉仿真（Tactile Genesis 类）和真实采集（HTT 类 HPT）正在互相补齐基础设施
- 即使表示可用，策略仍需同时解决旧数据缺失新模态、灾难性遗忘和反馈时效性
当前理解
TouchScale 补充统一硬件下规模化人类触觉监督的证据：500 小时无动作数据经未来触觉中训练，使同示教量四项真机任务平均成功率从 22.5% 提至 57.5%。12 区域映射只用于评测，未来触觉与动作误差仅弱相关，因果贡献仍需消融。
| 子问题 | 代表材料 | 立场 |
|---|---|---|
| 触觉硬件配置（位置/分辨率/类型）如何选？ | tactile-genesis-exploring-tactile-sensors-at-scale-for-learning-dexterous-tasks | 覆盖面积优先于分辨率；per-taxel 力/力矩在大多数灵巧任务里最稳健 |
| 异构传感器如何共享 backbone？ | 2606.29948-heterogeneous-tactile-transformer | sensor-specific encoder + shared transformer trunk + 跨模态预测对齐；MAE 重建 + 双向跨模态预测 |
| 换能原理完全不同的压阻手套和电容机器人手怎样对齐？ | TACROSS | 不匹配原始 taxel，而映射到带 mask 的接触概率、强度、面积、压力中心和六阶段事件语义，再由共享时序/跨手指 Transformer 输出 256 维 latent；去掉该语义对齐会把 30:150 设置的成功率从 91.9% 拉低到 49.4%。 |
| 触觉 backbone 能否迁移到训练时未见的传感器？ | 2606.29948-heterogeneous-tactile-transformer | 已在未出现的 Sharpa 触觉指尖上验证 toy screw / grasp tofu 上的成功率显著提升 |
| 旧数据没有 F/T 标注时，预训练策略如何吸收新模态而不遗忘？ | Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force | early + late fusion 联合动作、视频、未来 F/T 预测；旧数据 replay 与 missing-modality mask 同时保留视觉动作先验 |
| 高频力/触觉怎样决定动作的精确落点？ | Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation | action-only encoder 学高层 latent，触觉/力只进入 decoder；低维瓶颈让实时接触信号承担亚毫米级位置细节。 |
| 异步低频视觉与高频腕部 wrench 怎样统一 tokenization？ | ManipForce | 用时间戳窗口、频率感知嵌入、模态嵌入和双向 cross-attention 融合 30Hz RGB 与 200Hz F/T，而不是把力降到图像帧率。 |
| 高频触觉如何与低频 VLA 协同？ | T-Rex: Tactile-Reactive Dexterous Manipulation | 慢动作专家缓存视觉语言上下文，快触觉专家沿同一 flow 去噪轨迹细化动作，形成约 5 Hz / 20 Hz 的异步闭环 |
| 稀疏二值触觉要多精确才能支撑持续盲操作？ | No Eyes, No Problem: Blind Baoding Ball Manipulation | 不需要逐传感器精确对齐：16 路二值 FSR/BioTac + SlewDR 动作限速 + STAT 通道卡死随机化即可零样本迁移；触觉负责修正与恢复而非产生步态，关触觉后整圈数 34.75→5.0。 |
| 动作 chunk 执行期间，最新触觉如何继续修改未来动作？ | TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback | 未来动作保留 flow 中间态，动作块边生成边执行；EATA 只让当前触觉条件化下一待执行块，避免远期动作接收陈旧信号 |
关键设计要点
- 统一输入规范：时序窗 τ + 减参考帧，让不同采样率、不同维度的传感器在 backbone 内行为可比。
- 跨模态监督源：利用"同一次接触被多传感器同步记录"作为天然对齐信号，无需人工标注。
- 解耦结构：sensor-specific encoder/decoder + shared trunk，让每个传感器保留局部细节、共享语义进入统一潜空间。
- 非对称条件解码：RDP 让 action encoder 看不到力，只让 fast decoder 读取最新 wrench/触觉，并限制 latent 容量，使高层动作意图与接触期精确落点分工。
- imbalance 风险：光学-阵列配对中，光学富信息会主导跨模态预测，阵列侧会出现 −4.3% 这种回退；需要 imbalance-aware 损失。
- 持续适配接口：MuSe 用缺失模态 mask、旧数据 replay 和未来多感官预测，让没有 F/T 标签的预训练数据仍能约束新模态适配，避免只在新任务上微调造成旧能力塌陷。
- 多速率控制接口：T-Rex 把低频视觉规划和高频触觉细化放在同一 flow 轨迹上，说明表示进入策略后还需要清楚的频率分工。
- 频率感知嵌入：ManipForce 在 token 层显式编码异步时间戳与模态来源；30Hz 与 200Hz F/T 的齿轮装配差异说明采样率本身携带任务语义。
- 时间作用域接口：触觉更新不应无条件广播给所有未来动作；TacForcing 用 EATA 让当前触觉只影响下一动作块，并把更远动作保留为待后续触觉修订的中间态。
当前判断
这几条路线不是互相替代的模型技巧，而是同一条系统链上的不同层：Tactile Genesis 决定“感什么”，HTT 解决“跨硬件怎样表示”，MuSe 解决“怎样把新模态接进已有策略且不忘旧能力”，T-Rex 与 TacForcing 再回答“执行时怎样及时改动作”。当前证据已经说明静态拼接不足，但还没有一个系统同时证明跨传感器迁移、持续适配、旧任务保持和低延迟闭环。
未解决问题
- 异构 backbone 在纯阵列平台（无光学传感器）上是否仍可工作？
- imbalance-aware 跨模态对齐是否能同时拿回阵列侧的损失？
- 触觉 backbone 与 VLA 拼接的最优接口是什么（per-token fusion vs late fusion vs dual-stream）？
- MuSe 的 replay + missing-modality mask 能否扩展到多个依次到来的新传感器，而不让回放成本随模态数量持续增长？
- T-Rex 的双专家异步细化与 TacForcing 的单专家流式生成，在哪种算力、延迟和任务时域下各自更合适？
- 单一流式专家已证明执行期更新与 EATA 有效，但论文尚未报告 block size、推理延迟、触觉采样延迟和等算力对比，不能据此判断真实闭环效率。
- 触觉预训练需要多少跨传感器配对数据才能让 backbone 真正可迁移，而不是只适配原 4 种？
相关页面
- tactile-genesis-exploring-tactile-sensors-at-scale-for-learning-dexterous-tasks
- 2606.29948-heterogeneous-tactile-transformer
- Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force
- Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
- T-Rex: Tactile-Reactive Dexterous Manipulation
- TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback
- TACROSS
- ManipForce
- No Eyes, No Problem: Blind Baoding Ball Manipulation
- 机器人策略中的力觉与触觉：从信号语义到闭环控制
- Physical/Embodied Intelligence（domain）
相关材料
Tactile Genesis: Exploring Tactile Sensors at Scale for Learning Dexterous Tasks
Tactile Genesis 的主要贡献不是再造一种触觉传感器，而是建立一个足够快、接口统一的虚拟实验台，让研究者第一次能在同一只手、同一任务、同一训练协议下比较触觉的类型、覆盖、分辨率与噪声。论文最值得记住的结论是：在这三项灵巧操作任务中，**覆盖手掌和近端指节通常比升级指尖传感器更重要，约 200 个整手 taxels 已经够用，而 per-taxel 六维力/力矩是最稳健的默认表示**。这是一条有价值的硬件设计先验，但证据主要来自仿真蒸馏实验；真机只验证了 XHand1 上一次策略转移，因此不能直接解读为通用硬件排行榜。
Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force
这篇论文最值得记住的不是“给 VLA 加一条触觉输入”，而是它把新模态接入表述成 continual learning：在少量新 contact-rich 数据上学会用 force，同时尽量不破坏旧的视觉动作能力。MuSe 的价值在于，它用 multisensory future prediction 和 replay 证明，旧任务上即使没有力标注，也能把力学结构以可迁移的方式对齐进预训练策略；真正的短板则是仍依赖离线适配和专门的 compliance 控制接口，而不是端到端解决全闭环接触控制。
Reactive Diffusion Policy: Slow-Fast Visual-Tactile Policy Learning for Contact-Rich Manipulation
RDP 的关键不是“把力塞进 Diffusion Policy”，而是把力放到正确的时间尺度和网络位置：低频 latent diffusion policy 负责生成约 0.67 秒的高层动作块，快速 asymmetric tokenizer 则以 24 FPS 读取最新触觉或六维 wrench，把潜在动作解码成末端相对位姿。模型不输出目标力、阻抗或力矩，学到的是“看到这种受力与任务阶段时，位置应该再压入、退出还是沿曲面移动一点”。 这正面回应“小位移很难学、策略浮在表面”的问题。论文观察到有效修正确实只有亚毫米级：削皮器受力突增时向上卸力，接近黄瓜末端时向下压入以继续贴面，双臂夹杯接触后向外修正以免压瘪。真正决定能否学到的不是位移绝对值，而是示范中是否有稳定的“力变化—微位移—接触结果”相关性，以及训练、推理和机器人执行是否在时间上对齐。
TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback
TacForcing 解决的不是“VLA 能否看到触觉”，而是“动作块执行到一半时，最新触觉能否继续改写尚未执行的动作”。它把一个动作 chunk 拆成顺序完成的块，保留未来块的 flow-matching 中间态，并用执行后新采集的触觉继续细化；EATA 只让最新触觉影响下一块，避免它提前污染更远期动作。六个 UniVTAC 仿真任务平均成功率 65%，三个真机任务平均 69%，但 v1 的真机评测每任务仅 16 次，尚不足以证明跨硬件泛化或实时成本优势。
ManipForce: Force-Guided Policy Learning with Frequency-Aware Representation for Contact-Rich Manipulation
ManipForce 的价值在于把“接触示教怎么采”和“高频力觉怎么进策略”合成了一条闭环：手持系统用双目手眼 RGB、外部 3D ArUco 跟踪和腕部 AIDIN AFT200 六维 F/T 传感器记录自然人手示教，F/T 达 200Hz、RGB 和位姿为 30Hz；策略侧的 FMT 不把力信号降采样成图像帧的附属输入，而是用频率感知时间嵌入、模态嵌入和双向交叉注意力，把异步视觉 token 与力 token 融入 Transformer Diffusion Policy。六个真机任务上，FMT 平均成功率 83%，DINOv2-B 版 RGB-only Transformer DP 为 22%；最难的电池拆装/插入仍只有 65%/60%，说明力觉没有消除接触任务的全部不确定性。齿轮装配的 F/T 采样从 30Hz 提到 200Hz 时成功率 40%→95%，是论文最直接的频率证据。
No Eyes, No Problem: What Does Touch Contribute to Blind Baoding Ball Manipulation?
这篇论文回答一个很具体的问题：在完全不用视觉和物体状态估计的前提下，灵巧手仅靠本体感觉和二值触觉能做多久的双手内保定球旋转？答案是：在 Shadow Dexterous Hand Lite 上，策略零样本从仿真迁移到真机，单次连续试验完成 225 个 180° 旋转（112.5 整圈），约 0.36 rot/s，是迄今保定球操作最强的硬件结果。能迁移的关键不是更大的模型，而是三件事：把 Isaac Lab 默认资产里错误的 PIP/DIP 固定比例耦合改成硬件真实的顺序耦合；提出两种 episode 级随机化——SlewDR（动作斜率限制随机化，让策略学会硬件跟得上的平滑动作）和 STAT（随机把若干触觉通道整 episode 卡死在 0 或 1，迫使策略不过度依赖单一通道）；再加上基于空手基线的迟滞双阈值触觉标定。消融显示触觉的主要贡献不是产生动作节律（本体感觉策略自己就有节律步态），而是把名义步态修正成完成的旋转并在球位偏离时恢复：同一 checkpoint 关掉触觉后，整圈数从 34.75 掉到 5.0。
相关综述
机器人策略中的力觉与触觉：从信号语义到闭环控制
综合十八篇材料，按力/触觉信号的角色、坐标语义和时间尺度重整机器人策略路线：传感与采集、表示与适配、执行期反馈、事件记忆与后果预测，以及由低层控制器落实的力位与柔顺接口。