先定义全集，再看一个受限实例

从观测到动作：
操作空间的完整构想与最小子集

上一篇《把动作放回世界：具身操作的期待与问题空间》提出了空间构建、闪念决策与接触控制三个核心问题。这一篇聚焦空间构建：在观测与动作之间，能否学到一个支持多类操作的共同表示？

我考虑这个中间层，首先是出于数据的原因。带有机器人动作标签的数据获取成本较高，而人类操作视频、图像、语义和三维数据的来源更广。如果这些数据能用于学习操作空间，再由仿真提供“空间到动作”的训练数据，就可能减少对真机示范的依赖。

这个操作空间需要回答两个核心问题：

  1. 信息是否足够？ 压缩后保留的信息，能否支持不同任务中的操作？
  2. 数据是否更容易获得？ “观测到空间”和“空间到动作”两端的数据，是否更容易获取与标注？

一、完整构想：通过多任务学习形成操作空间

1. 压缩观测，保留操作所需的信息

我希望操作空间能用紧凑的表示，描述世界与身体的当前状态，以及它们在交互中的变化。它需要有空间和时间上的对应关系，使模型既能理解整体场景，也能读取局部几何、外观与接触信息。

如何学到这种表示？一个方向是借鉴 BEV，用空间结构组织特征；另一个方向是借鉴 CLIP，用不同输入、叠加不同任务的对比学习，共同约束表示。这两种思路可以结合：人工约定坐标、尺度与时间对应，具体保留哪些特征则交给模型学习。BEVFormer 提供了“空间组织＋学习特征”的参考。

关键在于，不要求先构造一个信息完备的数据集。 不同任务所需的信息量不同，各类数据也只能提供部分监督。图像与文本可以约束语义，多目或深度数据可以约束空间，操作片段可以约束变化。希望这些信号共同塑造一个可用于操作的表示，并通过当前感知重建、给定动作后的状态预测，检验压缩是否保留了必要信息。

感知侧仍应通过标定、去畸变和坐标统一，尽量减少观测器带来的差异。至于表示的具体载体，可以探索带位置的多尺度特征、对象与部件特征或局部表面特征，目前不限定为某一种网格或一个全局向量。

2. 用操作任务界定信息范围

这里的“完整”指希望覆盖的表达能力，并不要求每条样本都有全部标签。需要考虑的信息可以归纳为五类：

信息 要保留什么 代表用途
空间与局部几何 物体、部件、身体的位置与关系，以及必要的表面和形变信息 接近、抓取、对齐、折叠
外观与属性 类别、颜色、纹理、图像细节，以及影响交互的属性线索 找到目标，辨别污渍、图案与材料差异
本体 身体结构、当前构形、末端状态与控制接口 判断当前身体能怎样实现目标
接触与交互 握持、支撑、滑动等关系，以及可获得的力觉、触觉 抓稳、调整施力、响应阻力
短时历史 近期观测、已执行动作及其反馈 判断动作是否生效，决定继续、修正或恢复

任务 query 则说明希望发生什么变化。它可以包含文字、参考图、数值与过程要求，也可以包含上层组织的相关记忆。同一份状态，面对“拿起苹果”和“轻触苹果”，应当产生不同动作。

下面用六类操作检查这些信息的必要性。摆手主要依赖身体与周围空间；拉抽屉还需要部件与运动约束；叠衣服需要局部形变和层叠；擦拭、绘画则要求保留足够细的外观。

拉开抽屉

query
把抽屉拉开 10 cm，保持平稳。
读取空间
把手位置、抽屉运动方向、手的位置，以及握持和受力反馈。
期望变化
手与把手建立稳定关系，抽屉沿允许方向移动到目标位置。
缺少会怎样
只知道抽屉整体外框，不一定知道抓哪里；只看单帧，也难以判断刚才是否拉动。
六类操作的信息需求对照
操作 query 读取空间 期望变化 缺少会怎样
摆手／裸手动作 向对方摆手，保持在指定范围内。 身体构形、末端位置与周围空间；必要时读取对方的位置。 手的姿态和运动轨迹发生变化，不碰到周围物品。 只表达物体而不表达身体，无法确定怎样摆手、是否超出运动范围。
拿起苹果 拿起这个苹果，避免挤坏。 目标位置、局部形状、手的位置，以及接近和抓取后的实际反馈。 手与苹果建立稳定握持关系，苹果离开支撑面。 只知道“苹果在哪里”，不等于知道已经抓稳；缺少反馈难以调整挤压力与滑动。
拉开抽屉 把抽屉拉开 10 cm，保持平稳。 把手位置、抽屉运动方向、手的位置，以及握持和受力反馈。 手与把手建立稳定关系，抽屉沿允许方向移动到目标位置。 只知道抽屉整体外框，不一定知道抓哪里；只看单帧，也难以判断刚才是否拉动。
叠衣服 把衣服对折，让两侧衣角对齐。 局部布料表面、衣角和层叠关系，抓取部位及此前发生的形变。 不同布料区域移动、接触并叠合，形成目标形状与层次。 相同外框可以对应不同折叠和层叠状态；只保留刚体姿态不能表达内部变化。
用锤子 将钉子敲入指定深度，保持目标区域外不受损。 工具握持位置、锤头与钉子方向、身体运动，以及接触前后的响应。 工具按适当方向和速度接触目标，钉子的位置改变。 只表达最终位置不够；作用点、接触方向、速度和过程约束都会影响结果。
擦拭／按参考图画画 清除指定污渍；或按参考图形成指定图案。 目标表面位置、局部外观、已擦除或已画出的区域，以及末端反馈。 表面颜色、纹理或图案改变，几何形状可能基本不变。 只有几何可能分不清“已经完成”和“还没完成”；因此需要可读取的细致外观。

世界重建可以相对粗略，精细接触定位主要依靠末端触觉、力觉反馈逐步校正。 但这不意味着所有信息都能被粗化：例如绘画可以不要求精细重建整间房间，却仍然需要看清目标表面的笔迹。

3. 把空间接入操作闭环

操作模型读取当前空间和任务 query，给出下一步或短片段动作；执行后，再用新观测与身体反馈更新空间。

上层 query：文字／图像／数值／记忆 → 指定目标、局部对象和过程要求 → 交给操作模型
观测与身体反馈图像、深度、身体状态
触觉／力觉、近期动作
共同操作空间 Z有空间与时间对应的特征
支持整体理解、局部读取
操作模型结合 query 与当前本体
生成下一步／短片段 action
执行动作 → 获取新的观测与接触反馈 → 更新空间 → 再决策

决策输出可以采用低频更新的关键末端执行器（EEF）位置、姿态与轨迹，减少对具体关节结构的依赖，便于利用人类和 UMI 数据中的操作经验。下层则结合高频反馈，完成当前身体上的实际交互。

在这个闭环中，操作空间需要支持状态更新、按 query 读取信息，以及短时动作效果预测。长期记忆与信息组织可以由上层完成，末端保留近期感知—动作反馈，以支持快速响应。这样的分工服务于前文的三个期待：能力可迁移、失败可纠正、决策足够快。

与操作泛化、安全和闪念决策的对应关系
三个期待 对完整系统的要求
操作泛化 换场景、物品或身体后，仍能利用共同信息完成目标。明确保留本体差异，让共享的是操作能力，而非强行共用同一组关节指令。
操作安全 初期准确率可以有限，但试错不能依赖破坏自己或物品。需要约束、接触反馈、停止与恢复能力；空间表示本身不能保证安全。
闪念决策 上层负责丰富 query 的组织，末端快速读取、决策与反馈。灵巧手末端约 100 Hz 是当前设计期待，具体是否由同一个模型承担，需要结合时延和控制架构确定。

4. 数据从哪里来

学习空间与学习动作，可以使用不同来源的数据。前者尽量利用图像、语义、三维结构和人类操作片段；后者可以使用仿真中的状态、动作与结果。不同数据只需监督它能可靠提供的部分。

这也是多任务学习的意义：不必为了使用一段人类视频，就先补齐其中不存在的机器人关节指令或准确力标签。但动作与接触能力仍需要相应的数据支撑，不能仅由视觉语义对齐推出。

各类数据的来源、标签与制作成本
要学的内容 数据与标签来源 仍然存在的成本
位置与结构 真实多目／RGB-D 配合标定，生成几何与对象对应；仿真直接导出深度、对象和部件标签。 采集同步、标定、遮挡处理；检测与跟踪结果需抽检纠错。
外观与语义 图像、局部图像对应、类别与描述；渲染可生成颜色、纹理、光照变化。 描述与局部对应需质量检查；视觉教师特征不等于人工真值。
运动与变化 人类／物体视频配合跟踪与深度，或仿真逐帧状态。 真实视频的遮挡、形变和对应误差；仅有运动不等于知道机器人应下发什么指令。
接触与物理响应 仿真接触与执行记录；真实端有传感器时，采集对应的触觉／力觉。 普通视频没有准确力标签；仿真的材料、摩擦和柔性行为存在误差。
本体与动作效果 本体模型、控制接口；在仿真中由规划器、控制器、强化学习或示范产生动作，记录结果。 资产和物理设置、有效策略、失败筛选，以及向真机迁移的验证。

GS、体素、点云、UV、CAD 等，可以提供几何或外观的载体；Blender、USD 可以帮助组织资产与生成数据。它们各自覆盖一部分问题，尚不能单独充当完整操作空间。

补充：GS、体素、UV、CAD、Blender、USD 放在哪里？

它们分别提供表示或数据制作的一部分，不能单独替代完整操作空间：

  • GS：可作为外观与几何的重建来源，但重建结果本身没有定义身体、接触和动作效果。
  • 体素／点云／表面采样： 可承载空间位置与局部特征；分辨率、空区域和局部细节之间需要取舍。
  • UV／贴图：把外观关联到表面，适合保存图案与颜色；单独不能描述交互历史。
  • CAD：提供已知物体／本体的几何和结构信息，不要求所有真实物体都先做成 CAD。
  • Blender／USD： 用于资产、场景、属性组织和数据生成／交换。统一文件格式，不等于模型内部特征已统一；USD 本身不是物理模拟器。

当前构想倾向于吸收这些表示能提供的监督，再学习共同特征。尚未选定唯一的底层几何载体。相关文档：Blender 属性、Open CASCADE、USD Physics。

判断这个中间层是否值得引入，需要比较总成本：视觉采集、标注纠错、资产制作、有效动作生成和真实迁移。标签能够自动导出，不等于整套操作数据已经容易获得。

二、最小子集：图像与 bbox 对齐，再学习动作

1. 先保留最简单的状态描述

完整构想需要容纳多种信息。我的一个简化设想是：先对齐“图像＋操作 prompt”和“多目 bbox＋描述”，再用大量合成状态—动作数据训练策略。 部署时，由真实图像提供表示，调用在合成状态上学到的动作能力。

这个子集保留了“观测—状态—动作”的连接方式，缩减的是状态内容：用框与描述表达对象的粗位置、范围和简单属性。它首先适合讨论形状、抓取方式和目标较受限的任务。

最小子集保留了什么、省略了什么
全集中的信息 一个最小子集如何表达 压缩之后的边界
世界与局部几何 多目 bbox、对象对应、必要的相机参数。 表达粗位置与范围；整体框不直接给出把手、布料层叠或精细形状。
外观与属性 类别、颜色等简单描述；图像侧仍可看到外观。 状态侧没表达的纹理与局部差异，不会自动成为动作模型可用的信息。
本体 这一设想未展开。若固定机器人，可固定身体结构；控制仍需当前身体状态或等价反馈。 固定本体可以简化问题；单靠物体 bbox，不能知道手现在在哪里、下一步怎样动。
交互与历史 可先限制为简单操作；若描述中加入阶段或关系，就显式增加对应信息。 省略接触与历史后，对滑动、受阻、恢复、柔性操作的表达能力有限。
任务 query 操作 prompt，必要时包含目标位置或数值。 先覆盖有限目标类型；丰富图像 query 和复杂过程约束属于全集的更大范围。

它能检验共同表示是否有助于复用合成动作数据。即使这一机制成立，局部几何、外观、接触与历史如何进入表示，仍属于完整构想要回答的问题。

2. 对齐、动作学习与部署如何衔接

第一步：图像与状态对齐，不需要 action 标签。

同一场景与任务，一侧输入图像＋操作 prompt，另一侧输入多目 bbox＋描述＋任务。两个编码器分别得到 Zᵢ 与 Zₛ，通过对比学习建立对应关系。这一步只使用图像—状态配对，不训练动作模型。

① 表示对齐数据：图像—状态配对
输入 A图像＋操作 prompt真实采集或仿真渲染
学习图像编码器 Eᵢ
Zᵢ图像侧表示
输入 B · 与 A 配对多目 bbox＋描述＋任务包含相机与对象对应信息
学习状态编码器 Eₛ
Zₛ状态侧表示
Zᵢ 与 Zₛ：batch 内对比

以 3 组配对为例：对角线是正配对，其余错配作为负配对。无需另建负样本集。

图像／状态 S₁ S₂ S₃
I₁ 正 负 负
I₂ 负 正 负
I₃ 负 负 正
学到两个能够对齐的编码器，供后续两个阶段分别使用。

借鉴 CLIP，一个 batch 内的 N 组配对形成 N × N 的相似度矩阵：同一组的图像与状态是正样本，其余错配组合提供负样本。不需要额外人工制作负样本，正负配对可以在 batch 内构造。 若不同样本实际上描述同一个状态，应合并为多正样本或屏蔽对应错配，避免误当负样本。

第二步：从合成状态学习动作，不需要真实图像。

大量仿真状态经过第一步的状态编码器，得到 Zₛ；动作模型结合当前本体状态，利用仿真中的动作与结果学习执行。这个阶段可以完全在状态侧进行，动作轨迹不必逐条渲染成图像。

② 合成动作学习数据：仿真状态—动作—结果
输入合成状态＋任务多目 bbox＋描述
复用第一步状态编码器 Eₛ输出 Zₛ
学习动作模型 π同时读取当前本体状态
action下一步／短段动作
训练信号 → 动作模型仿真中的有效动作示范，或执行结果与奖励。
只走状态分支：无需真实图像，动作轨迹也可以不渲染。

最直接的衔接方式是先固定已对齐的编码器，训练动作模型；若继续更新编码器，则需要保留对齐约束，维持两侧表示的一致性。

第三步：真实图像到动作，也就是 img → action。

部署时，真实图像＋任务经过第一步的图像编码器，得到 Zᵢ，替换第二步动作模型的 Zₛ 输入。动作模型结合实时本体状态输出 action，执行后重新观测，形成闭环。此时不需要输入多目 bbox 或调用状态编码器。

③ 真实部署：img → action输入：实时观测与任务
输入真实图像＋任务当前场景
复用第一步图像编码器 Eᵢ输出 Zᵢ，替换 Zₛ
复用第二步同一个动作模型 π同时读取实时本体状态
action交给身体执行
↺ 执行反馈执行动作 → 新图像与本体状态 → 下一次决策。
部署只走图像分支，不需要多目 bbox 输入或状态编码器。

三步的连接点是共同表示：第一步学图像与状态的对应，第二步学状态表示到动作，第三步将视觉接口与动作模型接起来。核心假设仍是 Zᵢ 与 Zₛ 能被同一个动作模型互换使用；对比学习得到的相似性，是否足以支持一致的动作判断，需要在部署中验证。

3. 两类数据，连接两段学习

第一类是图像—状态配对，用来建立视觉接口。 在仿真中，可以从同一个场景渲染图像并导出状态；真实端也可用检测、跟踪与人工抽检制作，不需要同时录制机器人动作。 

图像：相机 A、B 的同步画面
相机：内参、外参
对象 7：A 视角 bbox；B 视角 bbox
描述：红色方块，在托盘左侧
任务：将红色方块放到托盘中央
对应：对象 ID、时间戳

第二类是状态—动作—结果轨迹，用来学习操作。 由控制器、规划器、学习到的策略或示范在仿真中执行，并记录实际发生的结果。 

当前状态：bbox＋描述 Sₜ
任务：操作 prompt
身体：关节／末端当前状态 bₜ
动作：实际下发的控制指令 aₜ
结果：下一状态 Sₜ₊₁
反馈：接触、成功／失败等

这里的“合成”应当来自一致的三维场景：先投影出多目框，再执行有依据的动作。分别随机造框和动作，无法保证多目一致、身体可达或操作有效。动作还需要明确坐标系、单位和控制周期。

数据制作时需要明确的约定
  • 框的含义：可见部分的框，还是完整物体投影框？跨视角对象 ID、相机参数与时间必须一致。多目框约束位置，但不自动等于完整三维形状。
  • 动作来源： 简单任务可由规划与控制规则生成；复杂操作仍需有效的策略学习或示范。自动记录 action，不代表自动获得正确 action。
  • 成功与失败： 成功轨迹可用于模仿；失败轨迹可帮助学效果与恢复，不能不加区分地当作正确示范。
  • 部署能拿到什么： 仿真内部完整状态可用于奖励、教师或监督；实际策略的输入要与真实可获得的观测匹配。
  • 图像覆盖： 大量动作轨迹可以不渲染，但图像—状态配对仍要覆盖动作模型遇到的状态变化，不能只对齐少量静态场景。

4. 可行性取决于三个条件

第一，状态信息要足够。 如果相同的框和描述可能要求不同动作，策略就缺少必要依据。下面两只抽屉的整体框相同，把手位置却不同。补入局部框或部件描述可以消除这一差异，只增加同类整体框的数据量则不能。

任务：抓住把手，拉开抽屉

场景 A

抽屉整体 bbox
bbox = [37, 32, 323, 158]
类别 = 抽屉；任务 = 拉开

把手在左侧，需要向左侧接近并抓取。

场景 B

抽屉整体 bbox
bbox = [37, 32, 323, 158]
类别 = 抽屉；任务 = 拉开

把手在右侧，需要向右侧接近并抓取。

完整画面能区分把手位置。仅靠相同的整体 bbox 和描述，动作模型无法稳定选择正确的接近位置。

概念示意；若其他视角、局部框、详细描述或历史已编码把手差异，则不再是相同状态。

第二，对齐要对操作有效。 两侧都输入同一个 prompt，可能让模型仅靠文字完成匹配；全局特征接近，也可能掩盖会改变抓取点的位置差异。可以在同一 batch 中放入任务相同、状态不同的配对，检验模型是否利用空间信息；必要时再加入局部空间监督或动作效果一致性约束。这不要求额外人工制作负样本集。

第三，合成经验要能迁移。 真实图像能否进入正确的表示，与真实动作能否产生预期效果，是两个问题。前者涉及视觉差异，后者涉及摩擦、延迟、柔性等执行差异。训练输入需要匹配真实可获得的信息，执行仍要依靠闭环反馈。

bbox 做“硬瓶颈”和做“辅助监督”，有什么区别？

硬瓶颈：图像先转换为框和描述，再预测动作。没被写进状态的信息无法继续传递。

辅助监督：图像编码成更丰富的特征，bbox 只负责约束其中一部分。这样可以保留更多外观信息，但若动作模型仅在 bbox 状态上训练，它不会自动学会使用图像侧额外的特征。

因此，从最小子集连接到全集，需要让新增的局部几何、外观、接触与历史信息也获得操作意义；不是只扩大特征维度。

因此，规则刚体的简单搬运与摆放，是这个子集较有希望覆盖的范围；叠衣服、灵巧工具操作和细致描画，需要更多信息。位置、尺寸、外观、指令与本体也是不同的泛化维度，不能由其中一种成功推出其余能力。

5. 如何理解“零真机数据”

这个设想最直接指向的是：不使用真实机器人动作示范，能否得到一定的操作泛化？ 这与“完全不用真实数据”不同。真实图像、人类视频和视觉预训练仍可能参与表示学习；若连这些也排除，视觉迁移的要求会更高。

三种“零真机数据”设定
设定 含义 判断
零真机动作示范 可用真实图像、人类视频和视觉预训练；不使用真实机器人动作标签。 这个架构具有合理动机；特定任务已有相关迁移证据。仍需验证状态是否充分、策略是否可迁移。
零目标本体训练数据 可用其他来源的数据；目标机器人只用于部署与评估。 要求进一步匹配本体和控制接口。不能由视觉—状态对齐自动推出。
完全合成训练 连真实视觉预训练也不用。 约束最强。特定视觉定位及抓取应用有先例，但通用操作不能据此下结论。

最小子集的价值，是检验易获得的图像—状态配对，能否把合成状态上的操作能力接到真实观测上。对完整构想而言，还需要继续回答：新增的几何、外观、接触和历史信息，怎样被学到，并真正用于动作。