Vision-Language-Action
VLA/WAM 从开放基座、多源数据、在线精修和长时程记忆,继续扩展到新感官模态、隐式空间表征对齐、几何世界建模、模块化世界—动作预训练、训练期物理模态蒸馏、动作接触后果预测与执行期闭环。
正文
Vision-Language-Action
- PhysWord:原子动作词分类与未来视觉/触觉隐状态直接对齐,在动作块内预测多个阶段;扩展拾纸 70.0% 对去词监督 36.7%,支持语义锚点对阶段重启的价值。完整模型还受益于 Cosmos 视频分支,尚未证明开放词汇组合或全身控制。
新增材料:When Do Discrete Actions Make Good Continuous Controllers? 将动作表示与生成方式交叉比较:均匀分箱 DF 在 RoboCasa 达 53.9%,DR 加 CFG 从 27.1% 升至 49.2%。关键瓶颈是跨时间与坐标的因子分解误差;平滑信号与冻结骨干对照同时提醒,离散优势依赖目标结构、训练与部署条件。
新增材料:rMuscle 利用重复执行中的内部状态相似性,分别减少视觉 FFN 计算与动作 FFN 权重读取。pi0.5 在 4090 上相对 FlashRT 从 46.0 ms 降至 35.5 ms,RoboTwin 平均成功率持平;但逐任务质量依赖参考覆盖及稠密回退,不能将平均持平解释为每任务无损。
新增材料:Agentic World Action Models 将可复用技能代码纳入视频与动作的联合去噪,真机八任务平均评分 71.1%。其默认模式以代码指导而不执行代码;混合执行需可靠技能 API,并存在随机化鲁棒性与干净场景性能的取舍。
把视觉、语言和动作统一进同一策略建模框架,是当前具身智能主线之一。
这条主题在讲什么
VLA 的核心不是“把图像和文本都喂给机器人”,而是把机器人控制问题放进 foundation model 语境里,让预训练、多任务泛化、迁移、微调和跨 embodiment 学习都能在一套统一框架里讨论。
为什么重要
- VLA 是现在连接大模型能力与机器人执行能力的主干路线
- 它把机器人学习从 task-specific policy 推向 reusable foundation policy
- 很多后续方向,本质上都是在回答“VLA 还缺什么”
- 更强的可控性
- 更长的记忆
- 更高的精度
- 更好的跨 embodiment 迁移
- 更低成本地利用人类数据
- 新感官模态的持续适配与低延迟闭环
当前知识库里的几条子路线
开源基座化 来自 来源: OpenVLA: An Open-Source Vision-Language-Action Model OpenVLA 强调训练、微调、部署三件事一起开源,代表“VLA 作为公开基础设施”的路线。
更强 steerability 来自 来源: π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities π0.7 通过 richer prompt、subgoal image、episode metadata 把“怎么做”也编码进策略上下文。
在线 RL 精修 来自 来源: RL Token: Bootstrapping Online RL with Vision-Language-Action Models RLT 关注如何在保留 VLA 泛化先验的前提下,把精度和速度继续打磨到 specialist 水平。 VLA-Precision 则把在线精修扩展到完整大 VLA actor-learner 闭环:ACoB 治理纠正、回报、偏好和参考策略之间的可信度,ACoB-Stream 治理冻结 context、replay 与 LoRA 状态的生命周期。
长时程记忆 来自 来源: MEM: Multi-Scale Embodied Memory for Vision Language Action Models MEM 试图解决 VLA 在长达十几分钟任务中的任务进度保持和局部视觉记忆问题。
利用 human data 来自 来源: Emergence of Human to Robot Transfer in Vision-Language-Action Models 这条路线关注 VLA 何时开始能真正吃进 human video,并把它转化成机器人能力。
跨具身对齐与 OOD 规模化 来自 来源: Qwen-RobotManip Technical Report Qwen-RobotManip 把 canonical state-action slots、camera-frame delta EEF 和 episode context 组合成统一接口,重点回答异构机器人数据何时能随规模增长转化为 OOD、指令跟随和跨具身迁移能力。
灵巧手基准与失败诊断 来自 来源: DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo DexJoCo 不提出新 VLA 模型,而是把 VLA/模仿学习策略在灵巧手、双手协作、按钮/插装/铰链交互和视觉随机化下的失败模式系统测出来。
训练目标物理化 来自 来源: AttenA+: Rectifying Action Inequality in Robotic Foundation Models AttenA+ 不改 VLA/WAM 骨干,而是把动作速度场写进 loss 权重,让模型更重视低速、精细、接触关键的动作片段。
新感官模态的持续适配 来自 来源: Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force MuSe 把 force-torque 接入已有 visuomotor world model,并用未来视频/F/T 联合预测、旧数据 replay 与 missing-modality mask 同时优化新任务前向迁移和旧任务后向保持。
训练期力蒸馏与部署期无传感器推理 来自 来源: FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation FD-VLA 用真实力表示监督一个由视觉与机器人状态生成的潜在力 token,并以定向注意力保护冻结 VLM;它代表“昂贵物理模态只在训练期做教师、部署期由常见模态补全”的路线,同时暴露了突发接触不可观测的安全边界。
联合动作—接触后果生成与价值后训练 来自 来源: Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation Facet-0 将因果 wrench 历史接入 PaliGemma 与 flow-matching 动作专家,联合生成 7D 动作块和未来 6D wrench;Action–Wrench Critic 再用部署轨迹评价联合提案。它代表“不是只给 VLA 增加感官输入,而是改变动作专家所生成和价值模型所评价的对象”的路线。
力—位示范采集与控制原语对接 来自 来源: ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation ForceMimic 不以 VLA 规模化为目标,而是用无机器人手持 ForceCapture 采集自然六维 wrench—位姿数据,再由 HybridIL 扩散策略预测未来位姿与 wrench,并交给正交混合力位控制器执行。它提醒 VLA 路线:新物理模态的收益首先取决于采集分布、坐标校准和动作接口,而不只是输入通道数量。
异步快慢触觉闭环 来自 来源: T-Rex: Tactile-Reactive Dexterous Manipulation T-Rex 让低频动作专家负责视觉语言规划、高频触觉专家复用缓存并沿同一 flow 轨迹细化动作,代表“多速率专家共享动作分布”的路线。
chunk 内流式触觉反馈 来自 来源: TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback TacForcing 不另设快触觉控制器,而是让同一个动作专家按块完成、执行并保留未来块中间态;每次执行后刷新触觉,EATA 只让最新触觉影响下一待执行块,把观测时刻与动作生效时刻显式对齐。
历史上下文 + 具身推理 + 动作对齐的系统化 来自 来源: DM0.5: 面向开放世界的通用具身智能基础模型 DM0.5 把长历史记忆(最长 60s)、11 种具身推理 CoT 任务、以及轨迹进展对齐三个设计做成一体,换来开放环境 Zero-Shot 泛化和真机 Table30 v2 SOTA。
隐式动作(LAM)的系统化消融 来自 来源: What Matters for Latent Actions in Robot Learning 这篇把 LAPO/LAOF/CoMo/CFD-AE 等隐式动作建模方法统一进同一自编码框架,扫描 41 个设计选择,证明原始 LAPO 最强、光流先验有害,并给出「隐式动作微调 VLM 骨干」的可复制配方(真机 +14.5pp)。
表示中心的持续预训练 来自 来源: Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models VLAct 不设计新的最终动作头,而是把 VLA continued pre-training 当作 backbone 表示学习:保护 VLM 浅层先验,以 OFT、PI、GR00T 多头联合监督减少 decoder lock-in,并只在物理可比的动作维度上做跨具身共享。
几何原生的世界—动作模型 来自 来源: Geometric Action Model for Robot Policy Learning GAM 把 GFM 在中间层切分,在几何潜空间因果预测未来状态与动作,再复用剩余深层共同解码未来深度和动作块;它代表“让几何骨干成为策略本体”而非仅做外部特征蒸馏的路线。
隐式空间表征对齐 来自 来源: Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model Spatial Forcing 用 VGGT 的多视角空间 latent 监督 VLA 较深层的视觉 token;教师只在训练期参与,推理仍走原 VLA 前向。它把 3D 能力从新增输入/传感器问题转换为中间表示正则问题。
模块化 WAM 设计与跨域预训练 来自 来源: OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining OpenWAM 把视频骨干、视觉潜空间、动作容量、跨流 attention、去噪调度和数据配方拆成受控变量,证明专用动作容量、世界到动作信息流与同步去噪共同决定协同;它也显示预训练主要抬升 OOD,而多帧像素 latent 在相机和噪声扰动下仍有明显上限。
历史动作驱动的低延迟生成 来自 来源: Action-to-Action Flow Matching A2A 不再从高斯噪声启动动作 flow,而是把本体反馈得到的历史已执行动作编码成 source latent,再运输到未来动作 latent;它代表“用物理连续性缩短生成路径”的实时策略路线,单步推理达到 0.56 ms。
历史源驱动的机器人基础模型加速 来自 来源: Delta Flow Matching for Robot Foundation Models Delta-flow 把 A2A 思路从动作 latent 扩展到 foundation-model 动作空间和 WAM 视觉潜变量:近期历史加噪作为 flow source,端点一致性直接监督单步生成。它把 ImageWAM 跨过 90% 成功率的训练从 6 epoch 缩到 1 epoch,并把 LIBERO-Plus 提升到 88.55%。
慢速 VLA 与高频柔顺控制闭环 来自 来源: CR-VLA-Force CC-VLA 让 pi0 同时预测位姿与期望力,用历史力 token 和残差 MoE 保持接触状态,再把动作块交给 500 Hz 自适应柔顺控制器执行;它代表“VLA 提供语义与物理目标、经典控制器处理块内快速反应”的显式接口路线。
关节力矩感知 VLA 的接口设计 来自 来源: TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models TA-VLA 系统比较 torque 接入位置、历史表示和未来预测目标,发现 action decoder 侧融合、整段历史聚合为单 token、联合生成未来动作与 torque 的组合最有效;它代表“低成本连续物理模态必须适配预训练动作接口,而非简单扩张视觉语言 token”的路线。
当前判断
这几篇放在一起看,VLA 主线已经很清楚:
OpenVLA解决“基座是否开放、可训、可部署”π0.7解决“多源数据如何通过 prompt 变成可控能力”RLT解决“如何把通才策略继续打磨到高精度”VLA-Precision解决“如何让人类纠正和逐步校准的 critic 稳定协作,并让大型 VLA 的新经验及时变成部署策略”MEM解决“如何把策略延长到 long-horizon”Human-to-Robot Transfer解决“如何把人类数据真正吸纳进来”DexJoCo解决“如何用灵巧手任务和失败模式检验这些策略是否真的具备接触密集、双手和长时程能力”AttenA+解决“训练目标是否应该反映动作序列内部的物理关键性”MuSe解决“如何把预训练时不存在的新力觉模态接入 foundation policy,同时避免旧能力遗忘”FD-VLA解决“如何把真实力降为训练期 privileged supervision,并在无力传感器部署时保留任务相关的接触先验”Facet-0解决“如何把未来接触后果绑定到候选动作,用部署价值挑出干净接触,并在安全动作盒内做零件级适配”ForceMimic解决“如何在无机器人条件下自然采集真实力—位示范,并通过混合控制原语把预测 wrench 接到执行层”T-Rex解决“如何让低频视觉规划与高频触觉动作细化在同一生成轨迹上协同”TacForcing解决“如何在同一个动作生成器内部交错 chunk 生成、执行与触觉更新,并限制反馈的时间作用域”DM0.5解决“如何把历史上下文、具身推理、动作监督三件事系统化地收进一个可用的通用 VLA”What Matters for Latent Actions解决“用无标注视频学隐式动作时,哪些设计真正决定下游性能、以及如何低成本评估隐式动作质量”VLAct解决“固定机器人数据预算下,如何让持续预训练得到可换动作头、可跨具身迁移的 VLA backbone”GAM解决“如何把预训练三维几何先验直接变成低延迟世界—动作骨干,并在相机扰动下保持空间鲁棒性”Spatial Forcing解决“如何把 3D 基础模型作为训练期教师注入 VLA 视觉表示,同时保持 RGB 输入和原推理路径”OpenWAM解决“如何把 WAM 的继承、耦合、去噪与跨域数据配方拆成可复现受控实验,并扩展成开放预训练基线”Phoenix(MWA™-Phoenix)解决“如何把双教师几何/时序表征、因果视觉压缩与世界—动作联合 flow matching 组装成全开源 WAM 基座,并用交互潜变量和世界模型内 RL 补齐真机精细操作”A2A解决“如何把历史已执行动作作为生成先验,缩短 flow 路径并把机器人策略推理压到单步”CC-VLA解决“如何让 1 Hz 的 VLA 把期望位姿和力交给 500 Hz 柔顺回路,在动作块内部保持可控接触”TA-VLA解决“如何把电流估算的关节力矩接到预训练动作解码器,并用单 token 历史与未来 torque 目标增强接触操作”
也就是说,VLA 不再只是一个单点模型设计问题,而已经分化成一套系统问题族。
相关页面
π0.7: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities
RL Token: Bootstrapping Online RL with Vision-Language-Action Models
MEM: Multi-Scale Embodied Memory for Vision Language Action Models
Emergence of Human to Robot Transfer in Vision-Language-Action Models
Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models
DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo
AttenA+: Rectifying Action Inequality in Robotic Foundation Models
Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force
FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation
Facet-0: A Robotic Foundation Model for Contact-Rich Precise Manipulation
TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback
Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
Spatial Forcing: Implicit Spatial Representation Alignment for Vision-language-action Model
OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining
Phoenix(MWA™-Phoenix): Scaling Robotic Manipulation through Visual and Interaction Representations
TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models
AHA-WAM:通过观测驱动 K/V 路由、随机起点训练和滚动记忆,连接低频世界模型与高频执行;需区分系统加速、预训练协议与算法增益。
相关材料
VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
VLA-Precision 的核心贡献是把真实世界 VLA 在线 RL 的两个瓶颈一起处理:ACoB 用“先快速吸收人类纠正、再逐步信任 critic”的非对称学习节奏抑制策略漂移,ACoB-Stream 则缓存冻结前缀的 KV context,只按需读取上下文并同步 LoRA 状态。九项高精度化学操作共 180 次测试成功 177 次,平均每任务在线训练 45.8 分钟后达到 98.3% 成功率;但这是任务级精修、持续有人类接管且使用 4 张 A800 的受控实验室证据,不等同于开放世界通用可靠性。
DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo
DexJoCo 的价值不在于提出一个新策略模型,而在于把“灵巧手到底比夹爪强在哪里、现有 VLA/模仿学习策略在哪些灵巧交互上失败”变成了可系统测量的问题。它提供 11 个功能型 MuJoCo 任务、1.1K 条人类示范、低成本手套遥操作采集系统,以及面向视觉随机化、动力学随机化、多任务训练和 action-head 适配的评测工具链。对后续灵巧手机器人学习来说,这篇更像基础设施论文:它给出了一个比 pick-and-place 更接近真实灵巧操作的压力测试场。
Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
Qwen-VLA 将操作、连续导航、轨迹预测和人类第一视角运动统一为同一 action-and-trajectory prediction 问题;它不是为每个机器人另训策略,而是用 Qwen3.5-4B 与 1.15B 参数 DiT 动作专家共享建模。其关键价值是以 embodiment-aware prompt 保留各平台原生控制语义,并用四阶段训练把语言—动作先验、视觉 grounding、任务对齐和成功率优化串起来。跨操作、导航、真实 OOD 与动态零样本基准的结果表明,这个统一接口并未以明显的 specialist 性能为代价。
Qwen-RobotManip Technical Report: Alignment Unlocks Scale for Robotic Manipulation Foundation Models
Qwen-RobotManip 的核心不是“再堆更多机器人数据”,而是先把不同机器人在**表示、运动和行为**三个层面拉到同一坐标系,再讨论规模化。论文最有价值的证据是:统一动作表示后,跨具身数据在 OOD 验证误差和下游成功率上才出现清晰的规模趋势;但“只用公开数据”的说法只适用于 manipulation corpus,完整训练还混入了含 proprietary data 的 VL 数据。
Multisensory Continual Learning: Adapting Pretrained Visuomotor Policies to Force
这篇论文最值得记住的不是“给 VLA 加一条触觉输入”,而是它把新模态接入表述成 continual learning:在少量新 contact-rich 数据上学会用 force,同时尽量不破坏旧的视觉动作能力。MuSe 的价值在于,它用 multisensory future prediction 和 replay 证明,旧任务上即使没有力标注,也能把力学结构以可迁移的方式对齐进预训练策略;真正的短板则是仍依赖离线适配和专门的 compliance 控制接口,而不是端到端解决全闭环接触控制。
What Matters for Latent Actions in Robot Learning
这是第一篇对 latent action model(LAM,隐式动作模型)做系统性实证研究的论文:把 LAPO、LAOF、CoMo、CFD-AE 等代表方法统一进同一个自编码框架,系统扫描了 41 个设计选择(建模范式、学习目标/正则化、隐式动作集成方式),并检验了 4 个代理指标能否预测下游操纵性能。核心结论是**原始 LAPO 反而是最强基线**,光学流(RAFT/SEA-RAFT)这类运动先验反而有害,隐式动作在 VLM 骨干微调后能显著提升下游策略与真实机械臂性能(真机成功率 64.75% → 79.25%)。对做「用无标注视频训练机器人」方向的人,这是一份可直接照抄的配方表。
TacForcing: Streaming Action Generation with Execution-Time Tactile Feedback
TacForcing 解决的不是“VLA 能否看到触觉”,而是“动作块执行到一半时,最新触觉能否继续改写尚未执行的动作”。它把一个动作 chunk 拆成顺序完成的块,保留未来块的 flow-matching 中间态,并用执行后新采集的触觉继续细化;EATA 只让最新触觉影响下一块,避免它提前污染更远期动作。六个 UniVTAC 仿真任务平均成功率 65%,三个真机任务平均 69%,但 v1 的真机评测每任务仅 16 次,尚不足以证明跨硬件泛化或实时成本优势。
Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models
VLAct 说明 VLA 的下一条独立增长轴不只是继续堆机器人轨迹,而是改造 continued pre-training 如何塑造 backbone 表示。在固定下游微调协议下,它仅替换预训练后的 Qwen3-VL-4B backbone,就在多项仿真、真机与未见 embodiment 迁移任务上取得 7.6–21.4 个百分点增益;最值得记住的是“保护 VLM 先验、用多动作头抵抗 decoder lock-in、只在物理可比维度共享动作语义”这套配方。
ForceMimic: Force-Centric Imitation Learning with Force-Motion Capture System for Contact-Rich Manipulation
ForceMimic 解决的不是“给机器人加一颗力传感器”,而是先用一个约 50 美元的手持 ForceCapture 在没有机器人的情况下采集自然的人类力—位交互,再把示范转成伪机器人数据;HybridIL 用扩散策略同时预测位姿和 wrench,并在执行时按力阈值切换正交混合力位控制。西葫芦削皮实验中,它的动作正确率为 100%、连续削皮超过 10 cm 的成功率为 85%,优于 Raw DP 的 80%/55%。
OpenWAM: An Open, Modular Exploration Towards Systematic World-Action Model Pretraining
OpenWAM 最值得记住的不是“又一个视频生成模型改机器人策略”,而是它第一次把 WAM 的设计变量拆成可复现实验:骨干、潜空间、动作容量、世界/动作信息流、联合去噪和预训练数据配方分别控制,再把结论累积成一个开放模型。 论文给出的强结论是:WAM 需要足够强的视频生成先验和紧凑、高信息量的视觉潜空间;动作必须有独立容量并在训练时读取世界特征;推理时同步联合去噪优于人为安排“先想未来、再反推动作”;跨域预训练的主要收益是 OOD 泛化,而不是继续抬高接近饱和的 ID 分数。 OpenWAM-α 用约 6369 小时、5.185 亿帧的人类第一视角与异构机器人数据实现这套配方,在多数仿真和三类真机形态上达到强基线水平。但它在 LIBERO-Plus 只有 69.2%,相机扰动 33.8%、噪声扰动 39.8%,清楚暴露了“长时程像素潜空间预测 + 单臂数据覆盖不足”的 OOD 脆弱性。因此,这篇论文既是 WAM 的工程底座,也是比单纯 SOTA 宣传更有价值的失效边界报告。
CR-VLA-Force: Learning Control-aware Compliance VLA Model for Robust Contact-rich Robotic Manipulation
CR-VLA-Force 的真正贡献不是再给 VLA 增加一个力觉输入,而是把 1 Hz 的慢速 VLA 与 500 Hz 的自适应柔顺控制器组成分层闭环:模型联合预测位姿和前馈力,控制器用实时力误差连续调刚度。六个力觉/接触条件平均成功率达到 89.2%,高于 ForceVLA 的 73.2%;擦板 40 N 跟踪误差降到 5.52%(base)和 8.78%(OOD)。但它的泛化证据仅覆盖单台 UR5e、四类任务与有限位姿偏移,“安全”主要来自工程控制约束而非整个学习系统的形式化保证。
TA-VLA: Elucidating the Design Space of Torque-aware Vision-Language-Action Models
TA-VLA 不是只提出一种新网络,而是系统回答力矩应该怎样进入预训练 VLA:关节力矩应接到动作解码器而非视觉语言编码器;一段力矩历史应先聚合成一个 token,而不是逐帧占用多个 token;训练时还应让模型联合预测未来动作与未来力矩。三项设计叠加后,π0 在五项接触密集任务上的总成功率从 23/100 提升到 86/100,在五项普通操作上仍从 85% 小幅升到 89%。证据说明廉价电机电流推算的关节力矩确实能补足视觉,但它不是经标定的末端接触力,跨机器人证据也仍很有限。
Delta Flow Matching for Robot Foundation Models
这篇论文的核心改动不是换掉 VLA 或 WAM 骨干,而是换掉 flow matching 的起点:不再从纯 Gaussian 噪声生成未来动作和未来视觉潜变量,而是把最近执行过的动作、当前或近期视觉潜变量加上有控制的噪声作为源分布。于是模型学习的 transport 从“任意噪声到未来”缩短为“过去到未来的残差变化”。作者把这个策略接入 `π0.5`、ImageWAM 和 Fast-WAM:ImageWAM 一个 epoch 达到 91.30% LIBERO 成功率,比原模型提前约 6 倍跨过 90%;Fast-WAM 提前 4 倍达到 95% 以上;`π0.5` LoRA 一个 epoch 的 92.20% 已超过 Gaussian 十步基线五个 epoch 的 91.30%。单步推理在三个模型上分别带来 1.54×、2.49× 和 4.45× 加速,同时把单步 Gaussian 采样的动作 jerk 降低 4.5×。 strongest evidence is LIBERO-Plus:ImageWAM 从 82.49% 提到 88.55%,`π0.5` 从 80.70% 提到 84.53%。
相关综述
当前 VLA 路线图:基座、可控性、在线精修、记忆与人类数据
如果只看单篇论文,很容易觉得大家都在“继续做更强的 VLA”。但把 OpenVLA、π0.7、RLT、MEM、Human-to-Robot Transfer、DexImit 放在一起,会看到这条路线其实已经分化成六个相互关联的问题: 1. VLA 基座如何开放、可训、可部署 2. heterogeneous data 如何变成可控能力 3. 通才策略如何继续被打磨到 specialist 级精度 4. 分钟级任务如何通过 memory 真正支撑起来 5. 人类数据何时开始能真正被机器人利用 6. 人类视频如何被显式编译成机器人可训练数据 这说明当前 VLA 研究已经不再只是单点模型设计,而是在演化成一套完整系统栈。
机器人策略中的力觉与触觉:从信号语义到闭环控制
综合十八篇材料,按力/触觉信号的角色、坐标语义和时间尺度重整机器人策略路线:传感与采集、表示与适配、执行期反馈、事件记忆与后果预测,以及由低层控制器落实的力位与柔顺接口。