TenStep

Vision-Language-Action

材料 31 综述 2 更新 2026-10-25

VLA/WAM 从开放基座、多源数据、在线精修和长时程记忆,继续扩展到新感官模态、隐式空间表征对齐、几何世界建模、模块化世界—动作预训练、训练期物理模态蒸馏、动作接触后果预测与执行期闭环。

正文

Vision-Language-Action

  • PhysWord:原子动作词分类与未来视觉/触觉隐状态直接对齐,在动作块内预测多个阶段;扩展拾纸 70.0% 对去词监督 36.7%,支持语义锚点对阶段重启的价值。完整模型还受益于 Cosmos 视频分支,尚未证明开放词汇组合或全身控制。

新增材料:When Do Discrete Actions Make Good Continuous Controllers? 将动作表示与生成方式交叉比较:均匀分箱 DF 在 RoboCasa 达 53.9%,DR 加 CFG 从 27.1% 升至 49.2%。关键瓶颈是跨时间与坐标的因子分解误差;平滑信号与冻结骨干对照同时提醒,离散优势依赖目标结构、训练与部署条件。

新增材料:rMuscle 利用重复执行中的内部状态相似性,分别减少视觉 FFN 计算与动作 FFN 权重读取。pi0.5 在 4090 上相对 FlashRT 从 46.0 ms 降至 35.5 ms,RoboTwin 平均成功率持平;但逐任务质量依赖参考覆盖及稠密回退,不能将平均持平解释为每任务无损。

新增材料:Agentic World Action Models 将可复用技能代码纳入视频与动作的联合去噪,真机八任务平均评分 71.1%。其默认模式以代码指导而不执行代码;混合执行需可靠技能 API,并存在随机化鲁棒性与干净场景性能的取舍。

把视觉、语言和动作统一进同一策略建模框架,是当前具身智能主线之一。

这条主题在讲什么

VLA 的核心不是“把图像和文本都喂给机器人”,而是把机器人控制问题放进 foundation model 语境里,让预训练、多任务泛化、迁移、微调和跨 embodiment 学习都能在一套统一框架里讨论。

为什么重要

  • VLA 是现在连接大模型能力与机器人执行能力的主干路线
  • 它把机器人学习从 task-specific policy 推向 reusable foundation policy
  • 很多后续方向,本质上都是在回答“VLA 还缺什么”
    • 更强的可控性
    • 更长的记忆
    • 更高的精度
    • 更好的跨 embodiment 迁移
    • 更低成本地利用人类数据
    • 新感官模态的持续适配与低延迟闭环

当前知识库里的几条子路线

当前判断

这几篇放在一起看,VLA 主线已经很清楚:

  • OpenVLA 解决“基座是否开放、可训、可部署”
  • π0.7 解决“多源数据如何通过 prompt 变成可控能力”
  • RLT 解决“如何把通才策略继续打磨到高精度”
  • VLA-Precision 解决“如何让人类纠正和逐步校准的 critic 稳定协作,并让大型 VLA 的新经验及时变成部署策略”
  • MEM 解决“如何把策略延长到 long-horizon”
  • Human-to-Robot Transfer 解决“如何把人类数据真正吸纳进来”
  • DexJoCo 解决“如何用灵巧手任务和失败模式检验这些策略是否真的具备接触密集、双手和长时程能力”
  • AttenA+ 解决“训练目标是否应该反映动作序列内部的物理关键性”
  • MuSe 解决“如何把预训练时不存在的新力觉模态接入 foundation policy,同时避免旧能力遗忘”
  • FD-VLA 解决“如何把真实力降为训练期 privileged supervision,并在无力传感器部署时保留任务相关的接触先验”
  • Facet-0 解决“如何把未来接触后果绑定到候选动作,用部署价值挑出干净接触,并在安全动作盒内做零件级适配”
  • ForceMimic 解决“如何在无机器人条件下自然采集真实力—位示范,并通过混合控制原语把预测 wrench 接到执行层”
  • T-Rex 解决“如何让低频视觉规划与高频触觉动作细化在同一生成轨迹上协同”
  • TacForcing 解决“如何在同一个动作生成器内部交错 chunk 生成、执行与触觉更新,并限制反馈的时间作用域”
  • DM0.5 解决“如何把历史上下文、具身推理、动作监督三件事系统化地收进一个可用的通用 VLA”
  • What Matters for Latent Actions 解决“用无标注视频学隐式动作时,哪些设计真正决定下游性能、以及如何低成本评估隐式动作质量”
  • VLAct 解决“固定机器人数据预算下,如何让持续预训练得到可换动作头、可跨具身迁移的 VLA backbone”
  • GAM 解决“如何把预训练三维几何先验直接变成低延迟世界—动作骨干,并在相机扰动下保持空间鲁棒性”
  • Spatial Forcing 解决“如何把 3D 基础模型作为训练期教师注入 VLA 视觉表示,同时保持 RGB 输入和原推理路径”
  • OpenWAM 解决“如何把 WAM 的继承、耦合、去噪与跨域数据配方拆成可复现受控实验,并扩展成开放预训练基线”
  • Phoenix(MWA™-Phoenix) 解决“如何把双教师几何/时序表征、因果视觉压缩与世界—动作联合 flow matching 组装成全开源 WAM 基座,并用交互潜变量和世界模型内 RL 补齐真机精细操作”
  • A2A 解决“如何把历史已执行动作作为生成先验,缩短 flow 路径并把机器人策略推理压到单步”
  • CC-VLA 解决“如何让 1 Hz 的 VLA 把期望位姿和力交给 500 Hz 柔顺回路,在动作块内部保持可控接触”
  • TA-VLA 解决“如何把电流估算的关节力矩接到预训练动作解码器,并用单 token 历史与未来 torque 目标增强接触操作”

也就是说,VLA 不再只是一个单点模型设计问题,而已经分化成一套系统问题族。

相关页面

相关材料

Physical Words: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation

值得记住的是用离散动作语义组织连续未来动力学的接口。PhysWord 在 UniVTAC 达到 90.3%,LIBERO-Long 达到 99.6%,四项真机任务平均 71.7%;长任务消融为语义锚点的价值提供了比可视化聚类更直接的证据。它尚未证明开放词汇技能组合或任意无触觉部署。

When Do Discrete Actions Make Good Continuous Controllers?

这篇工作的价值在于重新定位动作表示的瓶颈:在所测机器人任务中,简单离散动作并不天然输在精度,反而能保留连续回归容易平滑掉的细节;真正需要解决的是跨时间、跨坐标的行为一致性。RoboCasa 上单步离散回归加入 CFG 后成功率由 27.1% 提升至 49.2%,接近离散流 53.9% 和连续流 52.7%。这是设计 VLA 动作头时值得保留的证据,但不是“离散动作在所有精密控制问题上都更优”的定理。

rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference

值得记住的不是“机器人记住动作”,而是重复工位任务能提供可复用的内部计算模式。rMuscle 在强推理引擎之上进一步降低延迟,RoboTwin 平均成功率及两项真机成功率持平;收益依赖参考覆盖、硬件瓶颈和重建时间,不能直接外推到开放世界。

Agentic World Action Models

AW-0 值得记住的贡献,是让可复用技能程序成为世界动作模型内部的规划表示:语义计划既影响未来画面,也影响运动控制。八项真机任务平均评分从最强基线 DreamZero 的 46.0% 提高到 71.1%,但视觉随机化仍明显破坏默认模型表现。它提供了连接程序技能与连续控制的可行接口,尚未实现交互中自主扩展技能或持续学习。

AHA-WAM: Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing

AHA-WAM 值得作为实时 WAM 的系统设计案例精读:它展示了世界模型上下文可以跨动作更新复用,并随最新观测校正。仿真平均成功率 92.80%,优化后动作更新达 24.17 Hz;更快的 Flash 达 56.95 Hz,但成功率有所下降。最重要的阅读边界是:实机另有机器人数据预训练,速度收益也包含大量工程优化。

OpenVLA: An Open-Source Vision-Language-Action Model

OpenVLA 的价值不只是开源一个 VLA 模型,而是把可训练、可微调、可部署的完整开源机器人大模型工作流真正落到了实践层面。

π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities

π0.7 的关键价值不只是把模型继续做大,而是把“可控的通才机器人策略”往前推了一步。它试图解决的核心问题是:当训练数据越来越杂时,机器人基础模型怎样既能吃下示范、失败轨迹、人类视频和网页数据,又不在推理时退化成平均化、含糊的动作。作者给出的答案是把“怎么做”也写进 prompt,包括子任务语言、子目标图像、质量/速度/错误等 episode metadata,让模型学会在多模态上下文里被 steer。

RL Token: Bootstrapping Online RL with Vision-Language-Action Models

这篇工作最重要的点,是给 VLA 和在线 RL 之间找到了一个足够轻量的接口。作者没有直接对整套大模型做昂贵 RL,而是让预训练 VLA 暴露一个紧凑的 `RL token`,再在这个表示上训练小型 actor-critic,从而把 VLA 的泛化能力和 real-world online RL 的样本效率拼接起来。

VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models

VLA-Precision 的核心贡献是把真实世界 VLA 在线 RL 的两个瓶颈一起处理:ACoB 用“先快速吸收人类纠正、再逐步信任 critic”的非对称学习节奏抑制策略漂移,ACoB-Stream 则缓存冻结前缀的 KV context,只按需读取上下文并同步 LoRA 状态。九项高精度化学操作共 180 次测试成功 177 次,平均每任务在线训练 45.8 分钟后达到 98.3% 成功率;但这是任务级精修、持续有人类接管且使用 4 张 A800 的受控实验室证据,不等同于开放世界通用可靠性。

MEM: Multi-Scale Embodied Memory for Vision Language Action Models

这篇工作的重点,是把机器人策略里的“记忆”从单一历史帧堆叠,升级成多尺度、多模态的长期记忆结构。MEM 用视频短期记忆处理最近视觉细节,用文本长期记忆保留高层语义进度,从而把 VLA 推到更长时间跨度的任务上。

Emergence of Human to Robot Transfer in Vision-Language-Action Models

这篇论文的关键判断是:`human-to-robot transfer` 不是简单靠对齐技巧手工做出来的,而是会随着 VLA 预训练规模和多样性增长而“涌现”。也就是说,当机器人预训练覆盖足够多任务、场景和 embodiment 后,模型开始能够真正从 human video 中学到对机器人有用的东西。

DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo

DexJoCo 的价值不在于提出一个新策略模型,而在于把“灵巧手到底比夹爪强在哪里、现有 VLA/模仿学习策略在哪些灵巧交互上失败”变成了可系统测量的问题。它提供 11 个功能型 MuJoCo 任务、1.1K 条人类示范、低成本手套遥操作采集系统,以及面向视觉随机化、动力学随机化、多任务训练和 action-head 适配的评测工具链。对后续灵巧手机器人学习来说,这篇更像基础设施论文:它给出了一个比 pick-and-place 更接近真实灵巧操作的压力测试场。

AttenA+: Rectifying Action Inequality in Robotic Foundation Models

AttenA+ 的核心价值是指出 VLA/WAM 训练里一个很朴素但长期被忽略的问题:机器人动作时间步并不等价,慢速精细动作往往比快速过渡动作更决定任务成败。它用速度场给低速关键动作更高 loss 权重,不改模型结构、不加参数,却能在 Libero、RoboTwin 2.0 和真实 Franka 任务上稳定抬高强基线的上限。值得记住的不是某个复杂网络,而是“动作序列的物理结构可以直接进入训练目标”。

Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments

Qwen-VLA 将操作、连续导航、轨迹预测和人类第一视角运动统一为同一 action-and-trajectory prediction 问题;它不是为每个机器人另训策略,而是用 Qwen3.5-4B 与 1.15B 参数 DiT 动作专家共享建模。其关键价值是以 embodiment-aware prompt 保留各平台原生控制语义,并用四阶段训练把语言—动作先验、视觉 grounding、任务对齐和成功率优化串起来。跨操作、导航、真实 OOD 与动态零样本基准的结果表明,这个统一接口并未以明显的 specialist 性能为代价。

Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models

Qwen-RobotManip 的核心不是“再堆更多机器人数据”,而是先把不同机器人在**表示、运动和行为**三个层面拉到同一坐标系,再讨论规模化。论文最有价值的证据是:统一动作表示后,跨具身数据在 OOD 验证误差和下游成功率上才出现清晰的规模趋势;但“只用公开数据”的说法只适用于 manipulation corpus,完整训练还混入了含 proprietary data 的 VL 数据。

DM0.5: 面向开放世界的通用具身智能基础模型

DM0.5 延续 VLA 架构(4B VLM 多模态主干 + 680M Action Expert),核心不是堆规模,而是四项系统增强:长历史上下文、具身推理(CoT)、动态动作对齐监督、数据质量清洗。换来的是开放环境 Zero-Shot 泛化、更长记忆、更鲁棒动作和多机型迁移,在 RoboChallenge Table30 v2 真机评测拿下 SOTA,并在 LIBERO / RoboTwin2.0 / R2R+RxR 导航基准上多项领先。

Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force

这篇论文最值得记住的不是“给 VLA 加一条触觉输入”,而是它把新模态接入表述成 continual learning:在少量新 contact-rich 数据上学会用 force,同时尽量不破坏旧的视觉动作能力。MuSe 的价值在于,它用 multisensory future prediction 和 replay 证明,旧任务上即使没有力标注,也能把力学结构以可迁移的方式对齐进预训练策略;真正的短板则是仍依赖离线适配和专门的 compliance 控制接口,而不是端到端解决全闭环接触控制。

FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation

FD-VLA 用真实力信号做训练期教师,让一个由视觉与机器人本体状态条件化的可学习 query 预测潜在力 token;部署时不再需要力传感器,却在三项真实接触操作上达到 61.1% 平均成功率。真正值得记住的不是“无传感器也能估力”,而是把含噪物理模态蒸馏为任务相关中间表示,并用定向注意力保护冻结 VLM 的视觉—语言语义。证据仍局限于单台 UR5e、三项任务和 50 条示范/任务,尚不能视为通用触觉替代方案。

T-Rex: Tactile-Reactive Dexterous Manipulation

T-Rex 的关键贡献不是把触觉当作又一种静态输入,而是让现有 VLA 的低频视觉动作规划与高频触觉修正协同工作。它用 22889 小时人类第一视角视频预训练、100 小时触觉同步机器人数据中训练和约 100 条任务示范后训练,在 12 个真实双手灵巧任务上达到 65% 平均成功率,相比最强基线 EgoScale 的 35% 高出 30 个百分点。结果很强,但目前仍是单一硬件平台上的研究级验证。

What Matters for Latent Actions in Robot Learning

这是第一篇对 latent action model(LAM,隐式动作模型)做系统性实证研究的论文:把 LAPO、LAOF、CoMo、CFD-AE 等代表方法统一进同一个自编码框架,系统扫描了 41 个设计选择(建模范式、学习目标/正则化、隐式动作集成方式),并检验了 4 个代理指标能否预测下游操纵性能。核心结论是**原始 LAPO 反而是最强基线**,光学流(RAFT/SEA-RAFT)这类运动先验反而有害,隐式动作在 VLM 骨干微调后能显著提升下游策略与真实机械臂性能(真机成功率 64.75% → 79.25%)。对做「用无标注视频训练机器人」方向的人,这是一份可直接照抄的配方表。

TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback

TacForcing 解决的不是“VLA 能否看到触觉”,而是“动作块执行到一半时,最新触觉能否继续改写尚未执行的动作”。它把一个动作 chunk 拆成顺序完成的块,保留未来块的 flow-matching 中间态,并用执行后新采集的触觉继续细化;EATA 只让最新触觉影响下一块,避免它提前污染更远期动作。六个 UniVTAC 仿真任务平均成功率 65%,三个真机任务平均 69%,但 v1 的真机评测每任务仅 16 次,尚不足以证明跨硬件泛化或实时成本优势。

Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models

VLAct 说明 VLA 的下一条独立增长轴不只是继续堆机器人轨迹,而是改造 continued pre-training 如何塑造 backbone 表示。在固定下游微调协议下,它仅替换预训练后的 Qwen3-VL-4B backbone,就在多项仿真、真机与未见 embodiment 迁移任务上取得 7.6–21.4 个百分点增益;最值得记住的是“保护 VLM 先验、用多动作头抵抗 decoder lock-in、只在物理可比维度共享动作语义”这套配方。

Geometric Action Model for Robot Policy Learning

GAM 值得记住的不是“给 VLA 再加一个深度分支”,而是把几何基础模型本身改造成世界—动作模型:浅层编码当前多视角几何,中间因果预测未来潜状态,深层共同解码未来几何与动作。它以 1.4B 参数在 LIBERO-Plus 达到 85.5%,相机扰动达到 83.1%,推理仅 6.9 ms,说明显式几何先验可以同时改善 OOD 鲁棒性与控制效率。

Action-to-Action Flow Matching

这篇论文值得记住,因为它重新审视了机器人扩散策略的起点:机器人已经有连续的本体反馈,就不必每次从无信息的高斯噪声开始生成动作。A2A 用已执行动作的历史序列初始化未来动作的 flow matching,在保持生成策略多模态与泛化能力的同时,把推理压到单步 0.56 ms。它的真正价值不是又一个更快的采样器,而是把控制策略的生成先验从“随机噪声”改成“机器人自身的动力学历史”。

Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation

Facet-0 的关键不是把力觉当作又一个输入通道,而是让策略同时提出动作和该动作将引发的腕部力矩后果,再用接触结果训练分布式价值模型、按接触阶段分配强化学习信用,最后用受安全边界约束的小型 actor 做任务级适配;在五项亚毫米电脑装配任务上达到 82% 平均成功率,而最强基线为 15%。

ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation

ForceMimic 解决的不是“给机器人加一颗力传感器”,而是先用一个约 50 美元的手持 ForceCapture 在没有机器人的情况下采集自然的人类力—位交互,再把示范转成伪机器人数据;HybridIL 用扩散策略同时预测位姿和 wrench,并在执行时按力阈值切换正交混合力位控制。西葫芦削皮实验中,它的动作正确率为 100%、连续削皮超过 10 cm 的成功率为 85%,优于 Raw DP 的 80%/55%。

OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining

OpenWAM 最值得记住的不是“又一个视频生成模型改机器人策略”,而是它第一次把 WAM 的设计变量拆成可复现实验:骨干、潜空间、动作容量、世界/动作信息流、联合去噪和预训练数据配方分别控制,再把结论累积成一个开放模型。 论文给出的强结论是:WAM 需要足够强的视频生成先验和紧凑、高信息量的视觉潜空间;动作必须有独立容量并在训练时读取世界特征;推理时同步联合去噪优于人为安排“先想未来、再反推动作”;跨域预训练的主要收益是 OOD 泛化,而不是继续抬高接近饱和的 ID 分数。 OpenWAM-α 用约 6369 小时、5.185 亿帧的人类第一视角与异构机器人数据实现这套配方,在多数仿真和三类真机形态上达到强基线水平。但它在 LIBERO-Plus 只有 69.2%,相机扰动 33.8%、噪声扰动 39.8%,清楚暴露了“长时程像素潜空间预测 + 单臂数据覆盖不足”的 OOD 脆弱性。因此,这篇论文既是 WAM 的工程底座,也是比单纯 SOTA 宣传更有价值的失效边界报告。

CR-VLA-Force: Learning Control-aware Compliance VLA Model for Robust Contact-rich Robotic Manipulation

CR-VLA-Force 的真正贡献不是再给 VLA 增加一个力觉输入,而是把 1 Hz 的慢速 VLA 与 500 Hz 的自适应柔顺控制器组成分层闭环:模型联合预测位姿和前馈力,控制器用实时力误差连续调刚度。六个力觉/接触条件平均成功率达到 89.2%,高于 ForceVLA 的 73.2%;擦板 40 N 跟踪误差降到 5.52%(base)和 8.78%(OOD)。但它的泛化证据仅覆盖单台 UR5e、四类任务与有限位姿偏移,“安全”主要来自工程控制约束而非整个学习系统的形式化保证。

TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models

TA-VLA 不是只提出一种新网络,而是系统回答力矩应该怎样进入预训练 VLA:关节力矩应接到动作解码器而非视觉语言编码器;一段力矩历史应先聚合成一个 token,而不是逐帧占用多个 token;训练时还应让模型联合预测未来动作与未来力矩。三项设计叠加后,π0 在五项接触密集任务上的总成功率从 23/100 提升到 86/100,在五项普通操作上仍从 85% 小幅升到 89%。证据说明廉价电机电流推算的关节力矩确实能补足视觉,但它不是经标定的末端接触力,跨机器人证据也仍很有限。

Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model

Spatial Forcing 用 VGGT 的多视角空间 latent 监督 VLA 中间层视觉 token,推理阶段不增结构,在 LIBERO 达到 98.5% 并带来 3.8× 训练效率提升。

Delta Flow Matching for Robot Foundation Models

这篇论文的核心改动不是换掉 VLA 或 WAM 骨干,而是换掉 flow matching 的起点:不再从纯 Gaussian 噪声生成未来动作和未来视觉潜变量,而是把最近执行过的动作、当前或近期视觉潜变量加上有控制的噪声作为源分布。于是模型学习的 transport 从“任意噪声到未来”缩短为“过去到未来的残差变化”。作者把这个策略接入 `π0.5`、ImageWAM 和 Fast-WAM:ImageWAM 一个 epoch 达到 91.30% LIBERO 成功率,比原模型提前约 6 倍跨过 90%;Fast-WAM 提前 4 倍达到 95% 以上;`π0.5` LoRA 一个 epoch 的 92.20% 已超过 Gaussian 十步基线五个 epoch 的 91.30%。单步推理在三个模型上分别带来 1.54×、2.49× 和 4.45× 加速,同时把单步 Gaussian 采样的动作 jerk 降低 4.5×。 strongest evidence is LIBERO-Plus:ImageWAM 从 82.49% 提到 88.55%,`π0.5` 从 80.70% 提到 84.53%。

相关综述

当前 VLA 路线图:基座、可控性、在线精修、记忆与人类数据

如果只看单篇论文,很容易觉得大家都在“继续做更强的 VLA”。但把 OpenVLA、π0.7、RLT、MEM、Human-to-Robot Transfer、DexImit 放在一起,会看到这条路线其实已经分化成六个相互关联的问题: 1. VLA 基座如何开放、可训、可部署 2. heterogeneous data 如何变成可控能力 3. 通才策略如何继续被打磨到 specialist 级精度 4. 分钟级任务如何通过 memory 真正支撑起来 5. 人类数据何时开始能真正被机器人利用 6. 人类视频如何被显式编译成机器人可训练数据 这说明当前 VLA 研究已经不再只是单点模型设计,而是在演化成一套完整系统栈。

机器人策略中的力觉与触觉:从信号语义到闭环控制

综合十八篇材料,按力/触觉信号的角色、坐标语义和时间尺度重整机器人策略路线:传感与采集、表示与适配、执行期反馈、事件记忆与后果预测,以及由低层控制器落实的力位与柔顺接口。