让身体形成操作本能：高频控制、触觉与交互数据
从 locomotion 的状态对齐出发，构思以本体与力触反馈为核心的高频控制，讨论 Sys0 与上游的衔接，以及同构灵巧手和力触 UMI 数据。
闪念决策给出局部动作目标，控制交互则结合身体与接触反馈，把目标落实为高频控制。我希望这一层形成类似反射弧的身体本能，尤其是抓握之后，能够根据受力、滑动和阻力的变化及时微调。
一、从 locomotion 借鉴什么#
1. 与真机状态尽可能对齐的数据环境#
我想借鉴的是 locomotion 中不依赖 RGB 的训练路线：围绕本体状态和动力学交互，尽可能对齐仿真与真机的状态和响应，在仿真中进行大量训练，再迁移到真实身体。RMA ↗就是这类路线的一个参考。
延伸到带环境感知的运动与操作，可以加入 depth 或结构化的物体位置。以羽毛球、乒乓球为例，可以考虑将外部追踪得到的球的位置与运动状态输入策略。这里的共同思路是：下游即使不直接读取 RGB，也有描述动作所需的世界与本体信息。
对于接触密集的末端操作，我希望找到类似的数据环境：以本体、力和触觉等状态为核心，大量学习接触后的微调。 带力触反馈的 UMI 类采集，可能比构建相应仿真更快获得真实交互数据。
仿真仍是重要补充。相较于用 VLA 仿真扩大数据规模，我在这里更关注它能否提供精细控制的监督，以及 Sys0 与上游衔接所需的数据。这取决于接触和动力学的模拟精度。
2. Sys0 如何与 Sys1、Sys2 衔接#
这里把高频身体控制称为 Sys0，上游的快速决策和任务组织分别对应 Sys1、Sys2。衔接可以考虑两种方式：
- 显式对齐：上游给出低频参考轨迹、末端目标或接触要求，下游结合实时反馈细化为高频控制。
- 隐式对齐：上游提供特征或隐变量，由下游学习它与具体控制之间的对应关系。
接入之后，是否需要持续获取 rollout 数据进行微调，或者通过 RL 学习上游目标与真实执行之间的偏差，我还没有想清楚。一个核心问题是：怎样让预训练的下游模型接受上游调度，同时保留已经学到的“手感”与接触响应能力？
二、模型#
这一层的问题是：把上游控制信号与下游高频接触反馈结合，输出高频控制信号。复杂指令的理解由上游完成，Sys0 聚焦于局部目标的执行和调整。
- 01 上游目标 低频参考轨迹、末端目标或学习到的特征
- 02 Sys0 高频控制 结合本体状态、力触反馈与近期交互，细化控制信号
- 03 身体执行 完成抓握与接触中的微调
↺ 身体与接触的高频反馈直接回到 Sys0，持续修正执行。
模型仍可能接收 RGB，但我倾向于认为，力、触觉和本体感应等末端高频信号在这个环节更加关键。例如抓住物体后，模型需要根据滑动或受力变化调整夹持，而不必每次重新理解场景。
算法上的基本关系比较直接；需要进一步明确的是输入输出接口、控制频率，以及接入上游后如何训练。对灵巧手，我仍期待 100 Hz 量级或更高的接触反馈闭环。
三、数据来源#
我目前更看重两类采集方式：借鉴 Sunday ↗ 的采集手与机器人手对应设计，探索同构的灵巧手；以及扩展 UMI ↗，获取带力触反馈、能够描述施力过程的操作数据。希望保留的是运动、本体状态和接触反馈的同步记录，尤其是抓握后的调整过程。
传感器如何配置还没有想清楚：指尖触觉与末端力／力矩信息有多少重叠，各自补充什么？同构采集手上，如何布置并可靠测量末端受力，同时保持自然的操作方式？这些问题会直接影响数据是否足以训练下游控制。
最终仍需要高质量的串联数据，把上游目标、实际动作和力触反馈对应起来，用于训练与检验模块之间的衔接。