既装得下，也学得会：问题空间如何决定 Scaling

元设计未必限制模型内部偶然形成的一切，却限制了哪些能力能够被监督持续区分、奖励，并随规模稳定积累。

上一篇《把大象装进合适的冰箱》讨论的是一个基本判断：扩大数据和模型以前，先要定义问题。这一篇想追问更困难的一层：什么样的问题定义，既不会过早封死模型的上限，又能提供足够明确的学习起点？

开头这句话就是全文总纲，它包含三个递进问题：

预期决定能力选择方向：什么必须学会，什么能力被允许在 Scaling 中出现；
问题空间决定表达上限：元素、关系和组合规则能否容纳这些能力；
监督决定学习是否可达：数据量与标注信息能否形成足够稠密的有效约束。

案例、理论假设和实践步骤都只用于展开和检验这三点。把它们压缩到最简单的学习形式：

f_\theta:X\rightarrow Y

数据 Scaling 增加样本数量与对 $X$ 的覆盖，模型 Scaling 扩大 $f_\theta$ 的容量。但在这之前，元设计已经决定了 $Y$ 、训练目标以及哪些差异能够影响损失。这个选择既影响模型至少能学会什么，也影响它继续 Scaling 时还有什么方向可以积累。

第一部分：预期如何决定能力上限#

预期不是愿望，而是能力的选择器#

人的预期首先规定“希望模型做到什么”。分类任务希望模型在预设类别中做判断，检索任务希望相似对象彼此靠近，语言模型预训练则希望模型持续预测文本。

但预期不只是产品需求列表。它还会进入标签、输出接口、损失和评测，成为一个能力选择器：哪些差异值得被奖励，哪些差异可以被忽略。

以十分类为例，无论模型见过多少图片，分类损失始终只关心十个类别的区分。更多数据可以让它在这十类上更准确、更鲁棒，也可能顺带学到边缘、形状和纹理；但只要两套内部能力给出完全相同的分类结果，目标函数就无法稳定奖励其中更会生成图像、理解因果或处理第十一个类别的那一套。

这也解释了为什么模型可能超出设计者的明确预期。设计者不必事先列出每一种能力；只要某种潜在能力能够帮助当前目标，并且相关结构在数据中反复出现，它就可能随着 Scaling 被学出来。

什么才算“超出预期”#

超出预期至少有两种不同含义。

第一种是没有被逐项写进需求，但仍能由问题空间已有的元素和规则组合出来。例如，设计者只要求预测下一个 token，却没有逐条标注翻译、代码补全、文体模仿或问答；这些能力仍可能降低文本预测损失，因此存在稳定的积累方向。

第二种是既不能改善训练目标，也没有在训练数据中留下可利用关联的能力。共享表示可能让它偶然出现，但训练过程无法稳定区分“保留它”和“忘掉它”哪一个更好，因此不应期待它随规模单调增强。若后来真的观察到稳定 Scaling，通常意味着我们遗漏了某种间接信号，它应该被重新归入第一种。

严格按这个定义，第二种没有可信的正面 Scaling 案例；那些看起来“无中生有”的成功，往往仍能找到目标中的选择压力：

LLM 的翻译、代码和问答 没有被逐项标注，但相关结构存在于文本中，掌握它们可以改善 next-token prediction；
AlphaGo Zero ↗ 的局部战术与新策略 没有逐步动作标签，但更好的策略会提高搜索目标和最终胜率；
CLIP 的零样本类别迁移 没有固定下游类别表，但图文匹配和语言关系持续塑造共同 embedding。

真正接近第二种的是负面对照。随机标签实验 ↗中，网络可以记住训练集，却没有可复用的语义关系；捷径学习 ↗中，只看普通训练与 IID 评测，背景线索和人类期望的形状理解可能同样得分，模型没有理由选择后者；Video PreTraining ↗则反过来说明，互联网视频只有“发生了什么”而缺少精确动作，必须用少量带动作的数据训练逆动力学模型，才能把海量视频接到行动学习上。

个人判断：我不认为仅靠视频预测，甚至仅靠从 2D 画面反推动作的逆动力学，就足以支撑具身操作的 Scaling。

视频可以提供视觉与动态先验，但 2D 像素无法完整辨识接触中的力、摩擦、顺应性与可控后果。缺少主动交互和物理反馈时，我预期继续扩大视频数据的边际收益会较早饱和；更完整的讨论留给后续具身 Scaling 文章。

所以，真正值得设计的不是一张穷尽未来能力的清单，而是一组具有开放组合性的基本元素和关系。好的元设计规定学习世界的语法，却不提前写死这个世界里只能出现哪些句子。

高上限，以及看得见的下限#

一个适合 Scaling 的问题空间需要同时满足两个方向。

上限足够高，指它的元素、关系与组合规则能够表达当前任务，也能容纳尚未被逐项枚举、但可能与目标相关的新能力。开放词表、可变长度序列、关系空间和生成过程，都比固定类别列表具有更大的组合空间。

下限看得见，指模型从训练初期就能获得明确、可归因、可重复的改进信号。下一个 token、被遮蔽的词、图文是否匹配、某个噪声层级的修正方向，都是能够立即计算的局部目标。相比之下，“理解世界”或“成为通用智能”虽然上限很高，却没有直接告诉模型一次更新应该改什么。

这里的“下限”不是性能保证，而是最低可学习接口：即使模型还很小、数据还不多，它也知道怎样比随机状态前进一步。

表达上限 × 监督可见性

一个概念坐标：不是给方法排名，而是定位问题定义卡在哪里。

高上限，监督较弱

“理解世界”等目标可以容纳很多能力，却缺少一次更新应当改什么的清晰接口。

高上限，监督可见

自回归语言模型、Diffusion：组合空间开放，同时拥有重复的局部目标。

低上限，监督较弱

既没有足够表达能力，也缺少可靠反馈，扩大数据与模型都难形成稳定收益。

低上限，监督可见

封闭分类：目标清楚、容易学习，但能力主要在预设类别内部增长。

图 1：适合 Scaling 的元设计，要避免“容易学习但很快封顶”和“什么都能表达但无从学习”两个极端。

高上限和可见下限之间存在真实张力。问题定义太窄，监督通常很明确，却很快触顶；问题定义太开放，可能什么都能表达，却没有足够监督在巨大的自由度中辨认方向。Scaling 最可能发生在右上角：空间没有过早封顶，局部信号又足以让模型持续前进。

所谓合适的问题空间，从来不是对现实绝对完备，而是对某一种期待足够充分；更进一步，它还要为未被枚举的能力保留组合余地。

第二部分：怎样设计问题空间与监督#

问题空间到底定义了什么#

这里的“空间”不等于给数据找一个欧式坐标系。欧式向量空间只是可能形式之一；分类单纯形、序列、集合、图、流形、空间场和随机过程都可以成为学习问题的载体。

一个问题空间至少在定义六件事：

元素：类别、token、对象、像素、状态或动作中，什么是基本单位；
关系：什么算相等、相似、相邻、匹配、包含或先后；
组合：基本元素怎样组成句子、图像、结构或行为；
等价与不变性：哪些现实差异应该被合并，哪些必须保留；
变化规则：状态怎样转移，局部变化怎样累积成全局结果；
目标接口：模型输出什么，错误如何计算，训练结果怎样接受评价。

分类主要定义类别等价关系；人脸与 CLIP 让距离和角度获得任务语义；语言模型定义 token、顺序和条件组合；Diffusion 定义从噪声逐步回到数据的路径；BEV 定义跨相机共享的空间坐标。

判断一个空间是否合适，可以先做两个反事实检查：

如果模型完美解决了这个学习问题，真实期待是否也随之改善？
如果模型真的学会了我们希望出现的新能力，现有训练 loss 会不会因此降低，或者数据中的关系会不会被解释得更好？如果完全不会，训练过程就不知道为什么应该保留这项能力。

第一问检查的是代理任务与真实效用是否闭环：

正例：AlphaGo Zero。 在围棋规则内，训练与搜索最终都服务于胜率；策略真正变强，终局胜率就会提高。这里的代理目标虽然包含策略和价值预测，但与最终期待之间的链条较短。
正例：边界明确的质量检测。 如果真实需求就是在固定产线条件下识别几类已定义缺陷，那么分类准确率提高通常会直接改善业务结果。这个结论只在类别、分布和错误成本都与部署一致时成立。
反例：具身操作中的纯视频预测。 即使模型能够完美预测下一帧，也不代表它知道哪个动作可执行、接触力是否安全或怎样完成任务；视觉预测和操作效用之间仍缺少行动与物理反馈。
反例：捷径分类。 模型可能利用背景、水印或设备标记在普通测试集上接近满分，却没有学到人真正关心的对象或病理特征。代理问题被解决了，真实期待并没有同步改善。

第二问检查的是希望涌现的能力有没有受到选择：

正例：语言模型中的翻译与代码。 它们没有被逐项写成预训练标签，但双语文本、程序和解释存在于语料中；更好地掌握这些结构通常能够降低相应上下文中的 next-token loss。
正例：CLIP 的开放类别迁移。 下游类别没有预先固定，但更好的语义组合能力可以改善图文匹配，因此类别名与视觉概念的关系会在训练中得到间接奖励。
反例：情感分类器的数学能力。 只要情感判断不变，会不会解方程通常不影响分类损失，模型没有稳定理由保留数学能力。
反例：封闭分类器的新类别能力。 如果所有“其他”对象都被压成同一个标签，模型是否能在其中区分新类别不会改变训练得分；只有增加细分标签、关系监督或开放词汇接口后，这项能力才变得可见。
反例：视频中的隐式接触能力。 当两种不同的力、摩擦或顺应状态产生近似画面时，模型是否理解真实接触不会显著改变像素预测损失；加入力觉、触觉、动作条件或任务结果，才会为这种能力提供选择压力。

两个答案中任何一个是否定的，继续扩大数据和参数都可能只是在放大错位。

稠密监督不是把空间逐点填满#

“数据要足够稠密”是一个重要直觉，但不能理解成遍历高维空间的每一个点。自然语言、图像和行为的组合空间都大到无法穷举。模型之所以能够泛化，是因为许多样本共享更小、更稳定的生成规律。

因此，需要被覆盖的不是所有可能输入，而是那些会改变任务结果的有效自由度、生成因素和可复用关系。

监督可以通过三个方向变得稠密：

局部密度：一份数据在多个 token、像素、时间点或噪声层级产生目标；
关系密度：样本之间形成匹配、比较、排序和等价约束；
覆盖密度：数据触及足够多的概念、环境、长尾情况和变化模式。

这也说明“数据量”和“标注信息量”不是二选一。

更多原始数据主要增加分布覆盖，但大量重复数据带来的新信息可能很少；
更丰富的人工标注可以提高目标的可靠性、粒度与可归因性，但昂贵标签也可能只服务于一个很窄的 $Y$ ；
自监督分解可以从原始数据自动产生大量局部目标，但目标稠密不代表与最终期待对齐；
对比学习可以从一个 batch 产生许多关系，但重复负例和假负例不是同等数量的独立事实。

监督的密度不是梯度的密度。关键是单位数据和成本中，出现了多少与最终期待相关、非重复、可靠且能被模型复用的约束。

到底需要多少数据#

不存在脱离问题定义的统一答案。所需数据量至少取决于：

问题空间仍需由数据辨识的有效维度；
数据噪声、重复度和长尾程度；
空间是否编码了正确的不变性、对称性和组合结构；
一份数据可以生成多少独立而相关的监督；
模型能否让一次更新迁移到其他样本；
希望达到的误差、置信度和分布外范围。

如果任务结构让同一规律跨位置、样本和上下文复用，有限数据也可能约束很大的组合空间。反过来，如果每个样本都需要单独记忆，即使名义数据很多，问题仍然稀疏。

实践中不应先猜一个总数据量，而应画小规模学习曲线：逐步增加去重后的覆盖、标注粒度和模型容量，观察真实任务指标是持续改善、提前饱和，还是只改善代理 loss。这个转折点比原始样本数更能暴露瓶颈。

第三部分：用案例检查这套逻辑#

分类：下限清楚，上限封闭#

分类的监督非常可见：每张样本都有明确类别，交叉熵直接提供梯度。它适合在封闭任务中 Scaling，但能力上限受到类别定义约束。更多数据主要改善类内覆盖、决策边界和鲁棒性，而不是自动扩展任务接口。

这不是分类的缺点，而是它对明确期待所做的正确压缩。问题只在于不能把“十分类已经解决”误认为“视觉已经解决”。

BERT 与 GPT：同一文本，不同学习接口#

BERT ↗ 用左右文恢复被遮蔽的 token，目标是形成可供下游微调的双向表示；早期 GPT ↗ 用左到右的下一 token 预测进行预训练，再迁移到具体任务。两者都利用无标注文本，也都远比单一情感分类开放。

差别不能简化成“BERT 数据少，GPT 数据多”，也不能说 BERT 没有 Scaling 空间。更重要的是上下文可见性、目标分解和使用接口不同：原始 BERT 只在被选中的遮蔽位置产生直接 MLM 损失，GPT 在序列连续位置预测下一 token；生成时，GPT 的训练接口又能原样延续。

GPT 路线特别说明了“高上限和可见下限”如何共存：最低目标只是预测下一个 token，但可变长度序列和自然文本的广泛覆盖，使许多未被单独标注的能力仍可能帮助这个目标。

CLIP：关系和覆盖扩大了空间#

CLIP ↗ 不要求网页文本完整描述每一个像素，而是学习图像与文本在共同 embedding 中是否匹配。batch 内的比较提高关系密度，互联网图文提高概念覆盖，因此一个相对粗糙的标签也能参与开放词汇迁移。

它的边界同样清楚：全局图文匹配未必提供词语到区域的精确归因，关系数量也不等于独立信息数量。空间更开放，并不代表所有细粒度能力都会自然出现。

Diffusion：开放输出与局部目标同时存在#

DDPM ↗ 面对一对多的生成问题，没有把目标压成一次平方误差回归，而是把学习分解到不同噪声层级的局部修正。

最终生成空间很大，但每个训练事件都能得到明确的噪声预测目标；同一个去噪器又跨位置、时间步和样本复用。这是另一种“上限开放、下限可见”。不过，去噪损失仍不等于人类偏好，门是否真正关上还需要额外评价。

第四部分：把直觉变成假设与实践#

三个可以被实验推翻的假设#

这套直觉若要进入研究，至少可以先压缩成三个方向性假设。

假设一：可表达上限#

若一种问题表述合并了完成某项能力所必需的差异，或者输出和组合规则根本无法表达该能力，那么在其他条件相近时，扩大数据和模型不会让该能力稳定改善。

反证方式是：构造已知被表述删除的唯一任务因子，若该能力仍然随 Scaling 稳定增长，就说明我们对“必要差异”或上限的判断错了。

假设二：监督可见性#

在表达上限相近时，每单位成本提供更多独立、可靠、可归因且任务相关约束的表述，应当更早进入有效学习区间，或者更晚出现饱和。

反证方式是：保持原始样本、模型和算力相同，系统改变监督的重复度、噪声、关系结构和局部粒度；如果在未饱和区间始终得到相同曲线，“有效监督密度”就没有解释力。

假设三：超预期能力的可积累性#

一种未被显式列出的能力，只有在它能改善训练目标、数据覆盖了相关结构、并且规律能够跨样本复用时，才会随 Scaling 稳定出现。

反证方式是：选择两种对该能力具有不同区分力、但数据和容量相近的目标；若完全不区分该能力的目标同样稳定产生更强能力，这个假设就需要修正。

这三个假设不预测“更好的设计一定让幂律指数变大”。改善可能表现为更低的数据需求、更晚的饱和、更高的最终上限，或者只在某个资源区间有效。Hestness 等 ↗、Kaplan 等 ↗和Hoffmann 等 ↗关于数据、模型与计算曲线的研究，提供的是测量语言，不是对上述假设的直接证明。

从直觉转成实践步骤#

从直觉到实践的四步路径

先决定学习方向，再决定数据和模型预算投向哪里。

1 明确预期写清必须能力、允许涌现的能力与不可接受结果。
2 定义空间选择元素、关系、组合、不变性、变化规则与输出。
3 核算监督检查局部目标、独立关系、分布覆盖、噪声与归因。
4 试探 Scaling 联合改变数据和模型规模，对照代理 loss 与真实效用。

图 2：每轮真实效用评测都可能要求回到第一步，修正预期、空间或监督设计。

第一步：写清预期的三层边界#

必须做到什么：当前任务的最低成功标准；
希望允许什么：没有逐项标注，但希望 Scaling 后可能出现的组合能力；
明确不接受什么：即使代理指标提高，也不能牺牲的安全、真实性或控制要求。

这一步同时定义可见下限和期望上限，避免把一个窄 benchmark 当成完整目标。

第二步：画出问题空间#

列出元素、关系、组合、等价性、变化规则和输出接口。逐项追问：希望保留的能力能否在其中表达？任务无关的自由度是否过多？空间中的距离和邻近是否具有实际意义？

然后做反事实检查：两个现实状态若在当前表示中完全相同，是否仍可能需要不同答案？若是，表述已经提前丢失信息。

第三步：做监督账本#

不要只统计样本数。分别记录局部目标数、独立关系数、概念和场景覆盖、标注可靠性、重复比例、长尾缺口，以及结果能否归因到中间环节。

监督来源可以混合原始数据、人工标注、自监督目标、比较关系和合成数据；判断标准始终是它们能否增加与最终期待有关的新约束。

第四步：先做小型 Scaling 试验#

用多个数据规模和模型规模训练小、中、大版本，同时报告代理 loss 与真实任务效用。观察瓶颈来自表达上限、数据覆盖、监督质量、模型容量还是优化路径，再决定下一单位预算投向哪里。

这套步骤并不保证成功，但能把“再加数据试试”变成可以诊断的工程过程。

与已有理论是什么关系#

这里的想法不是从某一篇综述直接搬来的完整理论，而是把几个相邻传统重新组织到同一条实践逻辑中：

Newell 与 Simon ↗以及 Marr ↗提醒我们，问题表述与计算目标先于具体求解；
信息瓶颈 ↗和 Achille 与 Soatto ↗提供了任务充分、压缩无关变化和不变性的理论语言；
几何深度学习 ↗讨论怎样利用对称性与结构减少需要数据辨识的自由度；
代理损失校准 ↗说明训练 loss 与最终风险之间需要条件，而不是天然一致；
Scaling Law 研究提供了观察截距、斜率、饱和和资源配比的经验工具。

这些工作分别支撑局部环节，但没有直接给出“高上限、可见下限与超预期能力”这一整套结论。本文提出的是一个待验证的综合视角，不是已经被证明的定律。

总结：元设计决定能力往哪里生长#

问题定义不是 Scaling 之前一次性的文档工作。它在选择一个学习世界：这个世界允许表达什么，什么变化能够被监督看见，哪些规律可以被不同样本共同复用。

定义太窄，模型很容易学会，却很快失去继续生长的方向；定义太空，模型拥有想象中的无限上限，却找不到第一步。好的元设计要同时做到两件事：为能力保留足够开放的组合空间，也为学习提供足够具体的局部抓手。

接下来若把这套逻辑用于具身智能，需要重新回答观察、状态、动作、关系、反馈和现实效用分别是什么。但那是下一步。这里先留下一个通用判断：

Scaling 能否带来超出预期的能力，不只取决于模型有多大，还取决于最初的问题空间是否允许这些能力改善目标，以及数据是否为它们留下了足够稠密的证据。