Tactile Genesis: Exploring Tactile Sensors at Scale for Learning Dexterous Tasks
Tactile Genesis: Exploring Tactile Sensors at Scale for Learning Dexterous Tasks
Trinity Chung · Kashu Yamazaki · Dhruv Patel · Alexis Duburcq · Yiling Qiao · Katerina Fragkiadaki · Aran Nayebi
一句话结论
Tactile Genesis 用大规模仿真比较触觉设计：先扩覆盖，再选类型，最后加分辨率。
关键词
摘要
中文摘要
Tactile Genesis 是用于比较灵巧操作触觉抽象的 GPU 并行仿真平台。
英文摘要
Tactile Genesis is a GPU-parallel tactile simulation platform for comparing tactile abstractions in dexterous learning.
直观理解
在同一只虚拟手上替换触觉配置，公平比较硬件观测的价值。
主要图
背景与问题
为什么做
每一种传感器配置几乎都等于一只新机器人，现实中难以在相同任务和策略下公平比较。视觉与本体感觉无法直接观测滑移、局部接触和力闭合丢失等状态。
问题缺口
在固定灵巧操作流程中，应优先选择何种触觉表示、将其布置在哪里、采用多少分辨率，并且这些结论在带漂移与坏点的噪声下是否保持。
方法
方法概述
面向灵巧手触觉设计的受控学习消融。
核心机制
统一实现接触、深度、力/力矩、弹性体位移、接近、音频和温度；先用 PPO 训练可见特权状态的 teacher，再蒸馏只看本体感觉和一种触觉表示的 student。
方法拆解
- 传感器可附着于任意机器人表面并共享位置与分辨率接口.
- 统一建模读延迟、噪声、漂移、坏点、迟滞和串扰.
- 控制变量不变，只替换触觉观测.
结果
- 整手约 200 taxels 已可覆盖实验任务.
洞察
- 传感器应按滑移、接近和短暂触点等失败机制匹配.
风险与判断
局限
- teacher-student 设置限制学生策略上限.
适用场景
- 灵巧手传感器布置与策略观测选择.
最终判断
- 真机验证是趋势证据而非大规模成功率基准.
相关主题
Tactile Representation
触觉与力觉如何从传感设计、跨硬件共享表示，进入预训练策略的持续适配、快慢控制与执行期流式闭环。
打开主题
继续阅读
上一篇
STEAM: Self-Supervised Temporal Ensemble Advantage Modeling for Real-World Robot Learning
STEAM 值得记住的点，是它把真实机器人数据清洗问题改写成“逐帧 advantage 建模”：不用人工奖励、不用 VLM 打分，也不假设整条轨迹好坏一致，而是从专家轨迹内部的时间顺序中学习哪些 frame pair 代表推进、停滞或倒退。它尤其适合 VLA/机器人策略在真实 rollout、人工纠正和混合质量数据上继续提升：先找出真正推进任务的局部片段，再把这些片段作为 CFGRL 的高质量训练信号。
下一篇
FM-VLA: Force-based Memory for Vision-Language-Action Models in Contact-Rich Manipulation
FM-VLA 的关键不是给 VLA 再塞一种当前时刻传感器，而是把整段腕部力/力矩历史压缩成可供动作专家读取的长期事件记忆。它在找隐藏积木、精确计数按钮按压与碗内擦拭三项非马尔可夫任务上达到 83.3% 平均成功率，显著超过视觉记忆 π-MEM 的 53.7%，推理延迟仅比无记忆 π0.5 增加 3.3 ms。最值得记住的是“长时 force + 短时 state”的职责分工，但证据目前仍限于单一双臂平台和小规模任务。