OM-1
OM-1
Reward AI Team
一句话结论
OM-1 最值得研究的是“怎样把人类操作保真地记录下来,并让不同机器人实时执行”这条完整链路。它用 Omnibody Hand 采集人类示教,由多模态策略产生动作,再由仿真强化学习得到的控制层执行。“策略只学人类数据”与“控制器使用仿真 RL”属于不同层次。 现有材料支持把它视为一个有吸引力的系统方向;尚不足以复现网络,或证明在标准基准上超过其他通用策略。
链接
关键词
摘要
内容摘要
直观理解
可以把这套方案理解为“统一工作语言 + 因机器而异的执行能力”:上层希望表达一次操作要怎样移动、何时接触、施加多大作用;下层负责让具体机器跟上。这个解释是对公开功能分工的分析,不是作者公开的张量定义。
从工程角度看,真正难的接口不只在模型内部:人的手、采集装置、部署端传感器和执行器必须对同一接触事件给出相容的描述。统一接口可以减少每换一台机器人就重做数据的压力,但不会自动消除负载、工作空间、可达性和手部能力的差异。
背景与问题
为什么做
面向高速接触操作,模型即使在离线数据上预测准确,也可能因感知迟到、示教轨迹失真或控制器未及时执行而失败。因而需要同时讨论采集质量、策略反应时间和实际执行误差。本页关注 OM-1 是否给这些环节提供了一套一致的设计,以及现有证据能支持多强的能力判断。
问题缺口
只给出跨机器演示,仍无法解释观察空间怎样对齐、动作怎样映射、延迟怎样补偿;只说增加人类数据,也无法判断新增数据究竟提高了任务覆盖还是重复已有行为。OM-1 对系统分工给出了方向,但缺少让外部研究者量化这些取舍的接口定义、训练配方与受控对照实验。
方法
方法概述
系统可以按公开职责拆为采集接口、OM-1 策略和执行控制层。人佩戴 Omnibody Hand 提供示教;策略处理多模态历史,产生跨本体动作表达;高频控制层把预测落实到机器,并平滑衔接相邻预测。需要把这张图当作功能架构图:它未展开编码器、主干网络、动作头或损失函数,不能据此认定 OM-1 是某一种 VLA、Transformer 或 diffusion 模型。原文模型与控制章节
核心机制
公开接口的关键是让接触前、接触中与动作历史共同参与决策,并让策略推理与连续执行分开计时。分析上,这意味着系统试图同时解决“此刻发生了什么”和“来不来得及纠正”两个问题;但它是否采用时间戳 token、异步注意力、缓存或动作块,并没有公开。下表把可确认的输入输出语义与不可确认的实现分开,避免把一个功能名误当作已经定义好的模型张量。
| 接口 | 原文披露的语义 | 理解与核查重点 |
|---|---|---|
| 视觉输入 | 图像;手内全局快门相机 | 有助于解释高速视觉采集,但分辨率、视角数、曝光和部署视角变换未知。 |
| 接触输入 | 触觉、手指间接近信号 | 接近与已接触提供不同事件线索;触觉是否包含剪切、滑移等维度未说明。 |
| 运动输入 | 手部位姿轨迹及历史 | 位姿坐标系、关节表示、历史窗口长度与跨本体归一化未说明。 |
| 多速率时序 | 各模态按传感器原生采样率处理 | 不应理解为全部降到相机帧率;具体 Hz、同步误差与内部融合方式未知。 |
| 策略输出 | 方向、速度、力,以及抓取/移动等事件时机 | 是动作语义描述,不是公开的 action schema;维度、单位、预测步数和动作分布未知。 |
| 控制输出 | 面向具体机器的执行,包括移动机器人的导航动作 | 关节位置、速度、力矩如何分配,以及本体适配所需训练/标定步骤未说明。 |
| 尚不能确认的通道 | 原文还说采集沿轨迹的作用力 | 不能自动将其等同于策略的独立六维腕力输入,也不能据此推断力传感器构造。 |
| 任务条件 | 未明确列出语言、目标图像或任务 ID | 不能因为“通用策略”就称其已实现语言条件控制。 |
对部署而言,最需要补的一份材料是从人体记录到机器人观测/动作的接口规格:给定同一段手势,两台机器人究竟接收相同的动作向量,还是相同语义、不同参数化的向量?这会直接决定“同一个模型”究竟节约了哪一部分适配成本。
方法拆解
- 系统架构与实时性:原文让控制层独立于策略推理运行,并在线优化新旧预测的衔接。工程上应关注动作晚到时旧计划是否仍安全、状态估计是否已过期、接触力是否超限。异步执行能避免等待推理造成停顿,但不等于消除了延迟影响;没有公布的策略延迟、控制频率和尾延迟不能由“人类速度”倒推。
- 灵巧手设计:Omnibody Hand 是七自由度、以抓取功能为目标的设计,涉及拇指—食指精细操作,以及中指、无名指、小指的 MCP 联动;还考虑手型适配与末端屈曲补偿。分析上,这是一种将可采集性、可迁移性与机械复杂度共同约束的选择。七自由度不能直接解读为“七台独立电机”,也不能证明其指内操作能力等同于高自由度五指手。扭矩、带宽、触觉阵列、材料、成本和耐久数据仍缺失。手部设计说明
- 策略训练:作者宣称 OM-1 策略不使用遥操作或真实机器人经验,并以统一的人类示教接口在单一训练阶段学习。这里的“单阶段”应理解为作者不再按数据来源划分传统预训练/后训练流程;它没有说明优化轮数,也不证明任务到来后无需梯度更新。损失、动作监督构造、预训练权重来源、参数量、算力和混采比例未披露。策略训练说明
- 控制器训练:执行层明确使用仿真强化学习,处理动态效应、扰动和时延。因此准确说法是“人类示教策略 + 仿真 RL 控制层”。“不用真实机器人训练数据”不代表没有仿真、不需要机器人模型,或换本体时完全没有训练成本。奖励函数、仿真器、机器人资产、随机化范围和 sim-to-real 校准尚待公开。控制层说明
- 数据采集管线:公开部分是自然人类操作 → 可穿戴多模态记录 → 视觉惯性与电磁辅助追踪、扰动补偿 → 统一示教接口 → 策略学习。电磁辅助用于提高高速运动轨迹保真度。部署之后,机器人观测 → 策略 → 本体控制 → 执行构成另一条链路,不应把两条链路画成“人在实时遥操作机器人”。数据接口说明
- 数据工程与规模缺口:博客没有给出总小时数、轨迹数、采集人数、任务/场景覆盖和增长曲线,也未交代时间同步、标定、质检、失败段筛除、任务标注与训练集划分。分析上,统一硬件接口只是数据可合并的起点。可学习性仍取决于有效接触事件覆盖、动作可执行性和标注/同步误差;这里列的是应核查的工程环节,不是宣称作者已经实现的后处理管线。
关键要点
- 把接口当作学习系统的一部分:比较路线时不应只比较模型参数;还应同时比较采集设备、动作表示和部署控制要求。一个网络能迁移,不等于整套系统能零成本迁移。
- 训练声明要按层解释:人类示教用于策略,仿真 RL 用于执行层。未来评测应分别测策略泛化、本体适配成本和控制跟踪效果,才能定位能力来源。
- 保留时间信息值得独立验证:原生多速率输入与异步控制是两个不同机制。需要分别消融,才能知道收益来自高频信息、模型设计还是执行平滑,而不是将系统效果全部归给策略网络。
结果
- 最有实验设置支撑的数字来自追踪误差对照;它测量的是采集子系统,不是任务成功率。
- “少于 30 分钟”是作者对学习新任务所需数据量的描述,未说明完整训练预算、前置训练规模和评测分母。
- 跨本体与长程能力主要由演示支撑。当前可以记录“展示了哪些行为”,不能据此排序整个领域的模型能力。
结果速览表
| 项目 | 公开证据 | 能支持的判断 | 不能推出的结论 |
|---|---|---|---|
| [高速追踪](https://www.rewardai.com/blog/OM-1/#one-data-interface) | 8 档速度、每档 10 次;最高速平均过冲 24.9 → 9.5 mm,约下降 61.8%,原文概括约 60% | 在该往返机械限位实验中,追踪误差更小 | 全工作空间绝对定位误差为 9.5 mm;机器人任务成功率提高 60% |
| [新任务数据](https://www.rewardai.com/blog/OM-1/#conclusion) | 作者称少于 30 分钟数据可学新任务 | 提出了低新增采集量的适配能力主张 | 总训练数据不足 30 分钟;训练耗时 30 分钟;任意任务都满足 |
| 跨本体 | 页面展示工业机械臂及人形机器人的执行 | 有跨形态部署的演示 | 任意机器人零适配;任意末端执行器都可用 |
| 接触与动态操作 | 页面说明涵盖分拣投掷、插接件分离、冰箱开门、折叠等 | 示例覆盖不同接触与动态情境 | 统一成功率、吞吐量、人类效率比或可靠的 OOD 泛化指标 |
洞察
- 最强启发是共同设计的评估方式:OM-1 提醒我们,机器人数据不只是“视频 + 动作”文件;装置对人的动作造成的改变,会进入监督信号本身。我的判断是,下一步应比较同一操作者在不同采集接口下的策略质量,控制任务覆盖和训练预算,才能量化自然示教究竟带来多少收益。
- 跨本体承诺要拆成三项成本:新增本体的数据重采集、策略再训练、底层适配是三种不同成本。即使第一项降为零,后两项仍可能存在。购买或复现类似方案前,需要分别问清这三项,而不是只接受“同一个模型”的笼统回答。
- 规模问题应从总量转向有效量:建议未来报告每小时成功解析的轨迹、接触事件分布、跨人/跨场景覆盖,以及经过质检的数据保留率。没有这些统计,“随数据增长而变好”只能视为方向性主张,无法检验 scaling law。
和已有方法的关系
- DexCap 官方方案明确采用点云观测、IK 重定向和 Diffusion Policy,还允许人类修正回流。OM-1 的博客没有公开同等粒度的训练细节,且对策略数据来源做了更强限定。合理的关系是“可穿戴人类采集路线的延续”,不是“已证明沿用上一代算法”。DexCap 原始方法
- 与 Wiki 中的 Human-to-Robot Transfer 主题相连:它把迁移问题推进到传感与动作接口层。与 Contact-Rich Manipulation and Adaptive Compliance 相连:它要求学习策略与实时执行共同处理接触。两条关联属于问题线归纳,不构成与其他论文的数值对比。
可借鉴点
- 做复现实验时,先固定一个任务、一套输入和一个控制器,再比较时间历史、接近信号及多速率处理;否则模型、传感器和控制器同时变化,无法归因。
- 做跨本体测试时,固定策略权重,公开每台机器的额外训练数据、标定时间与控制器配置,并加入不同质量/摩擦、遮挡和时延扰动。
- 测“半小时学新任务”时,必须公开基础模型先前见过的任务、微调算力、随机种子、失败案例和测试场景隔离方式,避免把近邻任务复用误当作全新技能学习。
风险与判断
局限
- 网络结构、动作参数化、损失和训练规模未披露,公开材料不足以进行忠实复现;“新架构”不能替代这些规格。
- 缺少系统性的成功率、基线、消融与误差分布。演示可以说明可行性,无法给出长期运行可靠性。
- Any Body 的适用边界尚不清楚:不同手部机械能力、视角、动力学和传感配置下需要哪些适配,仍须测试。
- “自然采集不需监督”没有说明离线清洗和标注的人力开销;不应写成整条训练数据管线零人工。
适用场景
- 适合研究可穿戴示教、人类数据迁移、多模态接触策略与异步控制的团队,用于拆解系统问题、设计消融和制定接口需求。
- 适合评估减少每本体遥操作采集成本的方向;当前更适合作为技术路线参考,尚不能仅凭博客形成性能、成本或交付能力的采购结论。
最终判断
- 系统方向值得跟踪,模型领先性和数据规模尚无法判断。 最有价值的公开内容是采集—策略—控制的职责分工,以及高速追踪的局部对照;最应等待的证据是动作/网络规格、总数据规模、受控任务评测和跨本体适配成本。原文
相关主题
继续阅读
上一篇
Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation
Facet-0 的关键不是把力觉当作又一个输入通道,而是让策略同时提出动作和该动作将引发的腕部力矩后果,再用接触结果训练分布式价值模型、按接触阶段分配强化学习信用,最后用受安全边界约束的小型 actor 做任务级适配;在五项亚毫米电脑装配任务上达到 82% 平均成功率,而最强基线为 15%。
下一篇
FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation
FWBC-VLA 值得记住的贡献是把“操作任务需要的接触”与“同一接触给移动机身造成的负担”放进同一闭环。它在轮足四足机器人上实现擦白板 64%、开门 52% 的完整任务成功率,均比 ForceVLA 高 40 个百分点。证据支持低成本接触反馈与机身补偿协同的工程价值,但尚不足以证明精确六维测力、跨机器人泛化或通用的任务力/外部扰动辨识;论文 v2 还有数处正文—表格冲突,下面逐项标注。