When Do Discrete Actions Make Good Continuous Controllers?
When Do Discrete Actions Make Good Continuous Controllers?
Zeji Yi · Soham Dasgupta · Xinyang Zhang · Koushil Sreenath · Guannan Qu · Xi Chen · Max Simchowitz · Guanya Shi
一句话结论
这篇工作的价值在于重新定位动作表示的瓶颈：在所测机器人任务中，简单离散动作并不天然输在精度，反而能保留连续回归容易平滑掉的细节；真正需要解决的是跨时间、跨坐标的行为一致性。RoboCasa 上单步离散回归加入 CFG 后成功率由 27.1% 提升至 49.2%，接近离散流 53.9% 和连续流 52.7%。这是设计 VLA 动作头时值得保留的证据，但不是“离散动作在所有精密控制问题上都更优”的定理。
关键词
摘要
中文摘要
虽然 LLM 等现代 AI 模型预测离散 token，今天的机器人基础模型却以连续向量表示动作。本文质疑这一普遍共识，研究连续动作参数化是否优于离散形式。作者广泛比较连续和离散策略的单步回归与多步流变体，覆盖从零训练的单任务策略、多任务 VLA、仿真及真实硬件。在这些设置中，即使最简单的均匀分箱离散动作预测，也能在任务成功率上匹敌甚至超过连续动作策略。离散动作策略面临的挑战并非动作精度，而是跨时间和动作维度以乘积分布预测所引入的因子分解误差。通过离散流的迭代计算，或通过无分类器引导进行分布锐化，离散流策略可以把这种弱点转化为优势，在预测动作块内实现响应更敏捷的动作变化。最后，通过类似连续流匹配的损坏过程等方式显式注入几何信息，未带来一致改善。这些发现质疑了机器人动作预测必须采用不同于其他 AI 领域的设计这一假设，支持将离散动作预测视为当前连续动作参数化的有力替代方案。
英文摘要
Though modern AI models like LLMs predict discrete tokens, today’s robotic foundation models represent actions as continuous vectors. In this paper, we challenge this common consensus by asking if continuous action parametrizations are superior to their discrete counterparts. We conduct an extensive comparison of single-step regression and multi-step flow variants of both continuous and discrete policies in both from-scratch single-task and multi-task VLA training, in both simulation and on real hardware. In all regimes, we find that discrete action prediction, even the most naive, uniform-bin quantization, can match or even outperform continuous-action policies in task success rate. Moreover, we find that the challenge to discrete action policies is not action precision, but rather factorization error introduced by product-distribution predictions across time and action dimensions. We show that, when paired with the correct interventions—iterative computation through discrete flows, or distribution sharpening through classifier-free guidance—discrete flow policies can turn this weakness into a strength, enabling more responsive action changes during a predicted action chunk. Lastly, we show that attempts to explicitly inject geometric information into discrete policies, e.g. through corruption processes that emulate continuous flow matching, do not yield consistent improvements. Taken together, our findings question existing assumptions that robotic action prediction requires distinct design decisions compared to other AI domains, and motivates the possibility of discrete action prediction as a compelling alternative to today’s continuous action parametrizations. Link for the webpage https://iscoyizj.github.io/discrete-action-website/
直观理解
假设机器人可以从杯子左边或右边绕行，两条完整路线都正确。逐个预测动作 token 时，前几步可能选左路，后几步突然选右路，甚至同一步的横、纵坐标分别来自两种路线；每个局部选择看起来合理，组合起来却无法执行。连续均方误差回归则可能输出两条路线的平均值，直接向障碍物移动。离散流让整段动作经过多轮相互参照后再输出，CFG 让模型更偏向当前观测支持的一种选择，分别从联合协调和降低歧义入手。
图 1：比较离散流 DF、连续流 CF、离散回归 DR、连续回归 CR。总览图中的 RoboMimic 柱取各动作头家族的最佳配置，不能理解成同采样步数的速度公平比较。
背景与问题
为什么做
机器人在连续世界中执行动作，主流 VLA 因而常用连续 flow 或 diffusion 动作头，认为这能避免量化损失并提供高精度控制。但语言、视觉等大模型接口大量采用离散 token；如果动作也能在相同范式下可靠预测，就可能简化跨模态建模。要作出这种选择，必须测量实际闭环控制能力，而不能只凭连续输出没有分箱误差便判断它一定更好。
问题缺口
既有比较常同时更换骨干、分词器、数据和解码方式，难以区分离散表示、分类损失、单步并行预测与多步迭代各自的作用。即使某种离散流表现好，也可能被笼统归因为更强多模态拟合，而忽略独立 token 预测破坏动作联合分布的问题。本文用四类动作头与 CFG、NFE、动作空间、骨干等消融，把精度、响应性、一致性和闭环成功率分开观察。
方法
方法概述
输入观测 o 包括相机图像、语言和本体状态，策略输出未来 H 步、每步 M 维的动作块。作者在共享视觉语言骨干与近似同规模动作 Transformer 上，交叉比较连续或离散表示、单次或迭代生成四种组合，再独立扫描 CFG 和生成步数。训练统一采用示范行为克隆，部署时解码动作、还原归一化并执行动作块，再重新观测规划；通过闭环成功率、末端误差、时间变化与模式一致性诊断各因素。
核心机制
单步离散回归把动作块展平为 L=H×M 个位置，以 p(z|o)=∏j p(zj|o) 表示分布。即使各位置的边缘概率正确，边缘分布的乘积也不一定还原示范动作的联合分布，因此逐位置 argmax 可能拼出相互矛盾的行为。离散流每轮仍逐位置预测，但条件包含当前整段 token 和流时间；前一轮的选择会影响下一轮所有位置，从而在最终样本中建立跨位置关联。CFG 则以条件概率与无条件概率的比值重新加权各 bin，降低当前观测下的行为歧义。这两个机制可以改善一致性，却不等于都显式学习了完整联合分布，也不能保证逐样本正确。
方法拆解
- 动作编码与量化：主实验使用相对末端动作，整段目标都相对于预测时刻的末端位姿，而非每一步执行时的位姿。VLA 采用 H=24、M=7，包含三维平移、轴角旋转和夹爪；归一化与裁剪后每维通常划为 B=512 个均匀 bin，解码取 bin 中心，再逆归一化。量化误差确实存在；有限范围内单坐标分箱误差上界是半个 bin，不能把分类输出说成无损。
- 观测骨干与动作专家：VLA 用 π0 视觉语言权重初始化 PaliGemma-3B，并全量微调；输入最多三张 224×224 图像与 48 个文本 token。两层 resampler 用 64 个查询融合视觉语言最终状态和一个本体状态 token，得到 64 个条件 token；独立动作 Transformer 用 8 层、宽 1536、12 个头，通过动作自注意力和条件交叉注意力输出动作。四个动作头及 resampler 约 367M–371M 参数，骨干另有 2.92B。
- 连续回归与连续流：CR 一次前向输出整段动作，用平方误差监督，理想总体最优解是条件均值，多种可行行为可能被平均。CF 在高斯噪声与示范动作的插值上学习速度场，预测目标与插值导数对应，推理用 Euler 积分逐步产生动作。连续流迭代可缓解过度平滑，但积分步数、引导强度和数值稳定性相互影响。
- 离散回归及其实际训练目标：DR 一次输出 L×B logits，逐位置分类并 argmax 解码，预测时无需按 token 顺序自回归。不能把全部 DR 实验描述成纯 hard-label CE：RoboCasa/VLA 使用距离核平滑交叉熵，附录给出温度 0.0025；Push-T 则是 hard-label CE。分类损失、输出参数化与 argmax 的共同变化是解释性能时的混杂因素。
- 离散流的训练和采样：把示范动作编码为 clean token z，采样 t，并以 α(t) 保留目标 token、以 1−α(t) 从源分布取样，得到损坏动作 zt。模型用观测、zt 和 t 预测 clean-token 分布，以交叉熵训练；VLA 主配置源分布均匀、α(t)=t³。推理从随机 token 出发，每轮采样候选，按 η=(α下一步−α当前)/(1−α当前) 替换，最后一步替换概率为 1；均匀源允许已更新位置继续改变。
- CFG、训练数据和部署预算：训练以 0.1 概率丢弃条件，学习有条件与空条件预测；离散引导相当于 logits_CFG=(1+λ)logits_cond−λ logits_null，DR 引导后 argmax，DF 每轮引导后采样。CF 则组合条件/空条件速度，CR 不引导。VLA 混合六份 RoboCasa、LIBERO-plus、DROID，按帧数平方根加权并限制 MimicGen 权重；训练 150k 步，batch 512，8 张 B200，AdamW 峰值学习率 7.5e−5。推理编码骨干一次，CFG 每次动作头评估需两次前向，因此 NFE 不能直接当作完整延迟。
关键要点
- 对离散头，“同时并行预测”不代表最终输出必须相互独立；DF 通过依赖当前动作块的多轮计算协调 token。DR 的低成本来自一次并行输出，但一致性问题也最明显。
- CFG 对 DR 的收益主要体现在减少歧义和提升闭环成功率，而非显著降低末端重建误差；它会缩小覆盖范围，不能被理解为无代价地恢复所有正确模式。
- 基础均匀分箱 DF 已很强。更复杂 tokenizer 应证明能改善动作的联合可预测性与闭环控制，而非只证明压缩率或离线重建更好。
结果
结果速览表
| 对照/指标 | CR | CF | DR | DF |
|---|---|---|---|---|
| RoboCasa 相对末端，主配置成功率 | 38.8±3.3% | 52.7±3.4% | 49.2±1.4% | 53.9±1.2% |
| RoboCasa 相对关节，成功率 | 38.1±2.6% | 51.9±2.8% | 49.8±1.9% | 54.3±1.5% |
| RoboCasa 绝对末端，成功率 | 17.4±3.1% | 39.0±2.1% | 46.8±1.9% | 47.0±1.3% |
| π0.5 初始化全量微调，成功率 | 42.4±1.2% | 58.2±2.4% | 55.8±3.1% | 60.2±1.9% |
| π0 骨干冻结，成功率 | 10.2±0.6% | 13.4±0.6% | 10.2±1.0% | 11.2±0.8% |
| LIBERO-plus 留出集 EEF 误差 | 9.88 mm | 7.23 mm | 2.53 mm | 2.90 mm |
| DROID 留出集 EEF 误差 | 21.60 mm | 26.60 mm | 25.09 mm | 19.67 mm |
洞察
风险与判断
局限
- 对照不是在所有层面完全一致：VLA 动作头参数接近，但离散头多了 logits、分箱与特定损失；从零 RoboMimic 的网络结构、dropout、batch size 和生成步数也不同。主要结果使用每头最佳检查点，评估五种子仍不能替代多次独立训练。
- 小幅成功率差异可能处在标准差范围内。π0 骨干冻结时 CF 13.4% 高于 DF 11.2%，DR 与 CR 同为 10.2%，直接构成“离散总是更好”的反例。真机覆盖扔瓶、开笔帽、翻正杯子三任务，不能外推到高带宽力控、微米装配和其他硬件。
- 相对末端动作、512 bin、24 步执行后重规划是重要条件。裁剪会丢弃范围外动作，分箱会引入有限精度；jerk 不是物理安全证据，强响应也可能增加噪声敏感性，须单独评估接触力、稳定性和异常动作。
- CFG 和多轮迭代均有推理开销；未给出足以确定所有硬件延迟收益的统一吞吐对照。v1 的代码与检查点承诺是未来释放，复现成本和具体实现仍需后续核对。
适用场景
- 面向视觉语言条件的动作块行为克隆，尤其是需要细微但快速的动作切换、又受推理预算约束的机械臂操作。DR+CFG 可作为低成本基线，DF 可作为协调动作块的候选，应连同重规划频率一起实测。
- 对 VLA 动作头或 tokenizer 做系统研究时，可借用“边缘预测准确但联合组合错误”的诊断框架；对接触丰富、平滑轨迹或更高精度控制，则必须重新验证连续头和量化范围，不能直接套用主结果。
最终判断
- 值得纳入 VLA 动作表示设计的必读对照：最扎实的启发是先排查一致性与监督目标，再把控制失败归因于离散量化。工程上优先复现均匀分箱 DR+CFG/DF，对齐实测计算预算；研究上关注低步数时的因子分解误差，而非预设复杂 tokenizer 必然有益。
- 本文支持“离散动作是有竞争力的控制建模选择”，没有证明连续控制应被全面替代，也没有完成统一多模态动作模型的收益验证。
相关主题
Vision-Language-Action
VLA/WAM 从开放基座、多源数据、在线精修和长时程记忆，继续扩展到新感官模态、隐式空间表征对齐、几何世界建模、模块化世界—动作预训练、训练期物理模态蒸馏、动作接触后果预测与执行期闭环。
打开主题
继续阅读
上一篇
FACT：面向人类到机器人灵巧迁移的力—动作—轨迹基础模型
FACT 值得记住的是：人类示范能传递的不只是运动轨迹，还有接触如何随动作变化的经验。它在每任务仅 10 条机器人示范、配合 90 条人类示范的条件下，显著优于 T-Rex，但七项二元任务平均成功率仍只有 41.4%。这是带力人类预训练和接触预测的有力实验，不是通用灵巧操作已经解决的证据。
下一篇
Value as Memory: Online Value-Guided Post-training for General Robot Policies
VaM 把近期价值预测从训练标签变成策略可读取的任务进度记忆，同时用离线演示、历史人工干预和当前在线 rollout 持续更新价值与动作专家。三项真机长时程任务中，价值缓存相对消融在最终三个检查点上平均提高 29.4 个百分点；在线 RL 在匹配预算下经 LfE 后平均超过离线 RL 32.8 个百分点，并把每梯度步实验墙钟时间降低 57.8%。这是“critic 参与推理”与“提高部署—训练闭环频率”的双重贡献，但证据仍限于单机器人、三项实验室任务和可靠价值估计，不应外推成通用无人值守自我进化。