VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
VLA-Precision: Asymmetric Co-Bootstrapping for Efficient Real-World Online RL of Vision-Language-Action Models
Chenyu Su · Zhaolong Shen · Yuan Qian · Chen Qian · Rui Zhang · Feng Yan · Weixing Chen · Fei Zhang 等
一句话结论
VLA-Precision 的核心贡献是把真实世界 VLA 在线 RL 的两个瓶颈一起处理：ACoB 用“先快速吸收人类纠正、再逐步信任 critic”的非对称学习节奏抑制策略漂移，ACoB-Stream 则缓存冻结前缀的 KV context，只按需读取上下文并同步 LoRA 状态。九项高精度化学操作共 180 次测试成功 177 次，平均每任务在线训练 45.8 分钟后达到 98.3% 成功率；但这是任务级精修、持续有人类接管且使用 4 张 A800 的受控实验室证据，不等同于开放世界通用可靠性。
关键词
摘要
中文摘要
预训练视觉-语言-动作（VLA）模型能够支持广泛的操作任务，但在要求精度和可重复性的任务中仍不可靠。把真实世界在线强化学习用于 VLA 后训练，可以让模型通过自主试错获得超越纯示范学习的提升，但会暴露两个瓶颈：第一，不可靠的价值信号可能引发策略漂移；第二，大型 VLA 的计算开销会限制吞吐率和样本效率。为此，作者提出 VLA-Precision，一个包含 Asymmetric Co-Bootstrapping（ACoB）算法和 ACoB-Stream 架构的高效真实世界在线 RL 框架。ACoB 在不同时间尺度上建立非对称协同自举：早期由干预引导的行为学习迅速提高策略表现和在线经验质量；随着自主经验累积，全局回报传播与局部偏好排序逐步校准价值估计，产生用于参考正则化策略改进的相对动作优势，同时抑制漂移。ACoB-Stream 通过不变状态解耦与按需流式传输，为大型 VLA 建立闭环经验—策略架构，吞吐率和计算效率最高提升 10.9 倍。作者在四类高精度化学操作、九项任务和四种机器人形态上评估，取得 98.3% 平均成功率、45.8 分钟每任务的训练时间和 27.6 秒的平均成功执行时间，分别达到 VLA 与 RL 基线执行速度的 1.2 倍和 1.8 倍。
英文摘要
Pretrained vision-language-action (VLA) models enable broad manipulation but remain unreliable in tasks demanding precision and repeatability. Applying real-world online reinforcement learning (RL) to VLA post-training enables autonomous trial-and-error improvement beyond demonstrations alone, but exposes two bottlenecks: 1) unreliable value signals can induce policy drift; 2) large-VLA overhead constrains throughput and sample efficiency. To address these challenges, we present VLA-Precision, an efficient real-world online RL framework featuring the Asymmetric Co-Bootstrapping (ACoB) algorithm and the ACoB-Stream architecture. Specifically, ACoB establishes asymmetric co-bootstrapping across timescales: early intervention-guided behavioral learning rapidly improves policy performance while enhancing online experience quality. As autonomous experience accumulates, global return propagation and local preference ranking progressively calibrate value estimates, yielding relative action advantages for reference-regularized policy improvement while suppressing drift. To enable ACoB on large VLAs, we develop ACoB-Stream, a closed-loop experience--policy architecture that establishes invariant-state decoupling and on-demand streaming as design principles, delivering up to 10.9$\times$ improvements in throughput and computational efficiency. Extensive evaluations on nine high-precision chemistry tasks across four categories and four robot embodiments show that VLA-Precision achieves 98.3% mean success rate in 45.8 min/task, with 27.6 s episodes running at 1.2$\times$ and 1.8$\times$ the speeds of VLA and RL baselines. Resources are available at https://vla-precision.github.io.
直观理解
可以把 ACoB 理解成“教练和裁判不同步成长”的训练过程。任务微调后的 VLA 已经会做大部分动作，但刚开始在线训练时，critic 这个裁判几乎没有真实经验，直接听它指挥很容易把原本能用的策略带偏。因此系统先让人类在危险或失败前接管，把纠正动作直接教给策略；随着成功轨迹和纠正不断积累，critic 再通过整段回报和同状态动作排序学会分辨更好的动作，逐渐承担更多自主改进。ACoB-Stream 则像给这个循环加了一条缓存流水线，避免每次更新都重新跑昂贵的视觉语言前缀。
图 1：VLA-Precision 总览。上半部分是行为学习与价值校准跨时间尺度的非对称协同自举，下半部分是让新经验尽快变成已部署策略的 ACoB-Stream。
背景与问题
为什么做
大型 VLA 已能从预训练和示范中获得通用操作先验，但高精度插入、透明器皿转移、长序列液体操作等任务对毫米级误差十分敏感。仅依赖示范微调往往停留在不稳定的成功率上，而真实机器人在线强化学习又必须在有限交互预算、昂贵硬件和安全约束下持续运行。
问题缺口
现有真实世界 VLA 强化学习同时卡在算法与系统两端：训练早期 critic 数据少且估值不可靠，直接最大化绝对 Q 值容易把策略推向虚假的高价值动作；另一方面，大模型前缀重复计算、不断增长的 KV 上下文、磁盘随机访问以及整模型同步又让新经验很晚才能影响部署策略。
方法
方法概述
VLA-Precision 采用两阶段后训练。阶段 I 用 60-120 条任务示范对预训练 pi0.5 做全参数 flow-matching 微调，得到具备任务能力的先验。阶段 II 冻结多模态前缀和基础 action expert，只在线训练 action expert 中零初始化的 LoRA。actor 在真实机器人上异步采集执行轨迹、人工纠正、策略原始提案和冻结前缀 context；learner 先预热 critic，再联合更新 critic 与 LoRA。ACoB 决定“学什么以及如何避免漂移”，ACoB-Stream 决定“大模型上下文如何在有限计算、内存和 I/O 下持续流动”。
核心机制
ACoB 的“不对称”来自可靠性增长速度不同。策略已有示范先验，人类纠正可立即提供高质量监督；critic 却必须等待在线轨迹积累后才逐渐可信。算法因此用成功轨迹和有效纠正做 flow-matching 行为克隆，先快速提高行为与后续数据质量；critic 同时用 TD 传播长程回报，并强制同一状态下“实际纠正动作”的 advantage 高于“被覆盖的原始提案”，补足 TD 看不到的反事实失败。策略更新不直接追逐绝对 Q，而是在 critic 集成中比较当前动作与冻结参考/原始提案的相对 advantage，并取所有 critic 中最悲观的差值；冻结参考正则继续约束动作偏移。ACoB-Stream 再将冻结前缀 context 变成可复用状态，以去重磁盘存储、滑动窗口、目标对齐取回、后台预取和最小策略状态同步缩短经验到部署的闭环延迟。
方法拆解
- 两阶段初始化：阶段 I 全参数微调 pi0.5，先获得稳定的任务先验；阶段 II 冻结多模态前缀和原 action expert，只训练 LoRA。在线优化因此聚焦精度修正，而不是重学完整行为。
- 三类经验状态：所有执行转移进入 replay buffer，有效人工纠正额外进入 correction buffer，actor 推理时得到的冻结前缀 KV context 进入 context buffer。learner 每个 batch 从 replay 和 correction 各取一半，避免稀少纠正被普通轨迹淹没。
- 全局回报传播：critic ensemble 使用保守的最小目标 Q 构造 TD target，把稀疏任务回报沿长序列向前传播，学习动作的长期后果。
- 局部偏好排序：人工接管时保留 VLA 原始提案，若纠正与提案差异超过阈值，就要求同状态下纠正动作的 advantage 至少高出一个 margin。被覆盖提案没有实际后继，不能参与 TD，但仍能作为排序反例。
- 悲观相对优势：当前 LoRA 策略和冻结参考使用相同 flow noise 解码动作，以消除随机采样差异；发生纠正时，比较基线取冻结参考与原始提案中更高的 advantage，再对 critic ensemble 取最小差值。只有所有 critic 都认为当前动作更好，更新信号才为正。
- 三项 action-expert 损失：完整目标由行为克隆、相对优势、参考正则组成，实验权重分别为 0.25、0.50、0.25；critic 目标则由 TD 和偏好排序组成，排序权重为 50。
- 不变状态复用：冻结视觉语言前缀在每个新 observation 上只计算一次，actor 推理得到的 KV context 经 observation-schema-aware compaction 后保存，后续多轮 learner 更新直接复用。
- 按需流式访问：critic 更新只取 successor context，action-expert 更新才额外取 current context；CPU worker 在当前网络更新期间预取下一批并搬到 GPU，减少随机 I/O 和 learner 空转。
- 轻量策略同步：actor 与 learner 各自常驻不变 VLA 状态，只周期性传递完整可训练 action-expert LoRA 状态；actor 完成设备放置后原子切换，准备期间继续使用上一有效版本。
关键要点
- “非对称”不是简单地同时训练 actor 和 critic，而是明确承认两种信号在训练早期的可信度不同：直接纠正先主导，价值信号后成熟。
- local preference 的关键价值是构造同状态反事实。普通 TD 只能评价最终执行的纠正动作，无法自动把被人工覆盖的错误提案降值。
- relative advantage 不追求无限提高 critic 分数，而是满足相对 margin 即可；配合冻结参考和 ensemble 最小值，目标是“确定比基线好”，不是“最大化一个可能失真的绝对数”。
- 10.95 倍吞吐提升属于系统贡献，主要来自冻结前缀 KV 的跨更新复用；它不能被解释为 ACoB 算法本身使训练快了十倍。
- 真实部署不仅包含学习算法：论文还统一了 19 维机器人状态（相对位姿、速度、力/矩、夹爪）、7 维增量笛卡尔动作和 15 Hz 采集，并为 UR5e/Franka 实现阻抗控制。
结果
- 总体成功率：九项任务共 180 次留出测试成功 177 次，平均成功率 98.3%；七项达到 100%，透明比色皿转移为 90%，双臂试管刷洗为 95%。最差任务仍为 90%，而 pi0.5、pi0 的最差任务分别只有 10% 和 5%。
- 相对 VLA 微调：pi0.5 和 pi0 纯示范微调的平均成功率为 67.8% 和 59.4%，VLA-Precision 分别高 30.5、38.9 个百分点。成功执行平均耗时 27.6 秒，pi0.5 与 pi0 为 30.0、32.0 秒。
- 相对在线 RL 基线：HIL-SERL、ConRFT、Robo-Dopamine 在本文长时程、随机物体位姿任务上平均成功率仅 2.8%、7.8%、10.0%。VLA-Precision 相对最强的 Robo-Dopamine 提高 88.3 个百分点，并把成功执行速度提高 61.2%。
- 数据与时间：阶段 I 每任务只用 60-120 条示范和 5k-15k 个步骤，基线 pi0/pi0.5 使用 120-200 条示范和 25k-30k 个步骤；之后平均在线训练 45.8 分钟，任务范围 23-87 分钟。
- 训练期行为：五个代表任务最终平均自主成功率 98.0%、有效成功率 99.0%、累计低层纠正 2,517.4 次、干预率 0.024%。相对 Robo-Dopamine，自主成功率高 92.0 个百分点，干预数量低 66.9%。
- 算法消融：完整 ACoB 在四任务平均自主成功率 96.25%、干预率 0.03%；去掉 critic preference、actor BC、relative advantage 后，成功率分别跌至 26.25%、20.00%、8.75%。直接最大化绝对 Q 的退化最严重。
- 系统效率：完整 Disk ACoB-Stream 在 150 分钟完成 15,666 个 critic-to-actor cycle，吞吐 1.7407 cycle/s、平均延迟 0.574 秒。相对不复用 KV cache 的方案吞吐提高 10.95 倍、延迟降低 90.9%。
- 执行 horizon 边界：论文使用 step-wise delta 且执行 horizon 为 3。把 horizon 从 3 增至 6，三个高精度插入任务平均成功率从 58.3% 降至 6.7%，动作预测 RMSE 增加 29.3%，说明长 action chunk 的误差累积仍未被解决。
结果速览表
| 维度 | 完整方法 | 对照 / 消融 | 判断 |
|---|---|---|---|
| 九任务平均成功率 | **98.3%** | pi0.5 67.8%；Robo-Dopamine 10.0% | 在线 RL 超过示范上限，但基线迁移较弱 |
| 平均在线训练时间 | **45.8 min/task** | 23-87 min | 机器人时间短，未包含完整人力与计算成本 |
| 平均成功执行时间 | **27.6 s** | pi0.5 30.0 s；RL 基线均值约 44.5-50.4 s | 精度提升没有牺牲速度 |
| ACoB 四任务成功率 | **96.25%** | 无 preference 26.25%；无 BC 20.0%；绝对 Q 8.75% | 三项算法机制均关键 |
| Stream 吞吐 | **1.7407 CTA/s** | 无 KV 复用约 0.159 CTA/s | 冻结前缀 context 复用贡献最大 |
| action horizon 3 -> 6 | **58.3% -> 6.7%** | RMSE +29.3% | 长开环 step-wise delta 仍是明显边界 |
洞察
- 真正的创新是信号治理：论文没有假设 critic 从第一步就可靠，而是按信息成熟度分配学习权重。人类纠正的直接监督先改善策略，改善后的轨迹反过来给 critic 更好的数据，critic 成熟后再推动超越示范的自主改进。
- 人工干预同时产生三种信息：它既是可模仿的动作、也是原策略提案的偏好对照，还把原本会失败的轨迹拉回成功，从而提供长程回报。ACoB 的价值在于没有把这三种信息压成一个简单 replay transition。
- 系统优化服从状态生命周期：冻结前缀 context 是不变且可复用的，replay 是不断增长但需保留的，当前目标只需要其中一部分，在线策略只有 LoRA 会变化。按这四种属性分别设计缓存、持久化、访问和同步，比泛泛地做异步训练更有效。
- 高精度的难点是误差累积而非单步平均误差：双臂刷洗和长序列移液最能拉开差距；horizon 消融又表明，即使单步预测不错，step-wise delta 在更长开环执行中仍会递归放大误差。
和已有方法的关系
- 相比 RL Token 通过紧凑 token 接一个轻量 actor-critic、只精修关键阶段，VLA-Precision 直接在 pi0.5 action expert 的 LoRA 子空间里更新生成策略，覆盖完整任务闭环，并把 critic 校准和系统吞吐作为中心问题。
- 相比 HIL-SERL，VLA-Precision 不是从紧凑任务策略开始 RL，而是保留大型 VLA 经任务微调得到的先验，因此更适合长序列、随机物体位姿和多机器人形态。
- 相比 ConRFT、Robo-Dopamine 直接最大化绝对 Q，ACoB 使用 action advantage 分解、同状态偏好、critic ensemble 的悲观聚合和冻结参考，目标更接近“相对可靠地改善”而不是“追逐最大预测值”。
- 与 STEAM 的共同点是都在解决真实机器人 credit assignment；STEAM 从专家轨迹时间结构学习 frame-level advantage，ACoB 则利用在线回报和人工覆盖产生的成对偏好校准 critic。
可借鉴点
- 对任何“大冻结骨干 + 小可训练子空间”的在线系统，都可以复用 ACoB-Stream 思路：不变表示在采集时计算一次，训练目标按需取回，部署只同步发生变化的状态。
- 人类接管不应只存最终执行动作；还应保存被覆盖的模型提案和是否构成有效纠正，以便构造反事实偏好和诊断策略漂移。
- 当 value scale 在训练早期不稳定时，成对相对比较、共享随机噪声、ensemble 最小值和 soft margin 是一组可组合的保守设计，而不是单独依赖 KL/BC 约束。
- 在线 RL 报告需要把机器人交互时间、人工干预次数、learner 计算资源、更新吞吐和部署滞后一起呈现，单报样本数或成功率不足以判断工程成本。
风险与判断
局限
- 每项任务分别完成阶段 I 和阶段 II，尚未验证一个共享 VLA 的多任务在线 RL、跨技能经验迁移、任务平衡和灾难性遗忘；九任务结果不能相加理解为一个模型同时掌握九种能力。
- 对比基线在本文的长时程、随机物体位姿化学任务上远低于各自原论文报告。例如 ConRFT 与 Robo-Dopamine 平均仅 7.8% 和 10.0%，说明结论依赖作者的统一复现、底座适配和任务定义，未必代表这些方法的一般上限。
- “45.8 分钟/任务”不是完整成本：系统需要实时人工纠正、成功标签、4 张 NVIDIA A800、磁盘 context store、机器人特定阻抗控制器以及阶段 I 示范和全参数微调。
- human-in-the-loop 提高了安全性与数据质量，但人工纠正质量、接管延迟和漏接管是隐藏变量。论文没有给出操作者数量、干预一致性或无人安全运行的故障率。
- 任务主要是实验室桌面操作，虽覆盖四类和四种 embodiment，但没有移动操作、动态人类环境、高速碰撞、开放词汇指令或大范围视觉/物理分布偏移。
- 方法使用 step-wise delta 和短执行 horizon 3；horizon 增长时性能急剧下降，长时程双臂任务仍需要 chunk-wise reference 或更强闭环机制。
适用场景
- 已有较强预训练 VLA 和任务示范先验，但示范微调成功率仍不足以支持稳定重复执行，需要用几十分钟真实交互继续提高精度的任务。
- 能部署异步 actor-learner、提供人工即时接管、episode 成功标签、阻抗控制和多 GPU learner 的研究实验室或工业工作站。
- 插入、器皿转移、长序列移液和双臂协同等小误差会累积为失败、而成功信号相对明确的高精度操作。
- 不适合直接用于无人值守高风险生产、奖励难定义且无法可靠接管的开放环境，或只拥有单卡/边缘计算资源的轻量部署。
最终判断
- 这是当前 VLA 真实世界在线 RL 中少见的算法—系统协同工作：ACoB 对早期 value 不可靠给出明确机制，ACoB-Stream 又把大 VLA 在线学习的计算状态拆到了可落地的生命周期层，因此比单纯提出新 loss 更值得跟踪。
- 论文最强证据不是 98.3% 这个孤立数字，而是三组相互支持的结果：相对纯示范 VLA 的稳定提升、三项算法消融的大幅退化，以及 KV/访问/存储机制的系统吞吐消融。
- 但应严格限定外推范围：当前证据证明的是“任务级、有人接管、受控化学操作中的高效在线精修”，不是一个模型跨九任务持续自我进化，更不是开放世界机器人已经达到 98.3% 可靠性。
相关主题
继续阅读
上一篇
FWBC-VLA: Force-Aware Whole-Body Compensation for Contact-Rich Loco-Manipulation
FWBC-VLA 值得记住的贡献是把“操作任务需要的接触”与“同一接触给移动机身造成的负担”放进同一闭环。它在轮足四足机器人上实现擦白板 64%、开门 52% 的完整任务成功率，均比 ForceVLA 高 40 个百分点。证据支持低成本接触反馈与机身补偿协同的工程价值，但尚不足以证明精确六维测力、跨机器人泛化或通用的任务力／外部扰动辨识；论文 v2 还有数处正文—表格冲突，下面逐项标注。
下一篇
GE-Act 2.0: Pretraining and Scaling a World-Action Model for Robotic Manipulation
GE-Act 2.0 把 world model 的“预测未来画面”和 policy 的“输出动作”拆成可分别预训练、再可微分连接的两段，并用 KASO 解决“生成的未来与示范动作可能不是同一种正确行为”的监督错配。它最有价值的证据不是某个单点 benchmark，而是从 300 小时扩到 30,000 小时后，两个真实机器人上的零样本 OOD 操作成功率仍持续上升；但它目前仍是短视的 System-1 控制器，不等于开放环境中的完整机器人智能。