推理模型与 RLVR

上一课我们把对齐那条线走完了：模型学会了"按人类偏好说话"。但那套偏好管的是好不好听，因为它只回答"人更喜欢哪个"，所以管不了算得对不对——这一课换一个目标，让它在多步问题上想得更久、算得更准。

要让模型"一步步想"，有两条供给路径：提示和训练。可以把这类比成教人做菜：一种是把菜谱贴在灶台边，每次做菜都得看着它；另一种是让人把菜谱背下来，以后不用带纸条。前者不动权重、随时可换，后者要把步骤真正写进脑子。

更自然的做法是直接问它要答案（标准提示）——但 PaLM 540B 这样问，在 GSM8K 上只能拿到 17.9%。原因是答题需要多步推导，而模型被训练的默认行为是「一次给一个 token」，中间步骤全被压进一步里、没有展开的空间；把 8 个带中间步骤的示范放进提示后，同一模型的同一批题就升到 56.9%——差的不是知识，而是「把中间步骤写出来」这件事本身。

上一张卡片我们看到：要把更强的推理过程装进去，就得动权重。可一旦要"训"，第一个绕不开的环节就是奖励从哪来。

对齐那一课用的是"人类比较"，但对数学题，比较是弱信号——两个错误答案之间"谁更好"意义不大，人还得读完整段推理才判得出来。可以把这类比成判卷：主观题必须请人阅卷，客观题只要对答案就行——能把自动判的题，就别浪费人的时间。所以做法是让程序直接判对错，把 RLHF 里那个学出来的奖励模型整个换掉——这样一来策略的 gradient 就只剩"对 / 错"这一个方向可爬。

上一张卡片我们把奖励换成了可验证的对错。现在的问题是：只有对错，模型凭什么学会"想更久"？

先把"学"这件事讲清：组内相对优势只看"同一题里哪条回答更好"，完全不关心它是怎么想出来的。可以把这类比成打靶训练：教练不点评姿势，只在命中时报一声"中"——练久了，你自己会摸索出更容易命中的姿势。于是策略的 gradient 只会沿着"更可能答对"的方向走；只要"想得更久"恰好与答对相关，它就会被反复强化。

更早、也更自然的做法是先做 SFT、把「怎么想」的示范喂进去——但那要有现成的高质量长链推理数据，而这类数据恰恰很贵、很难大规模获得。R1-Zero 反过来走：不加任何示范，只留「答案对不对」的 0/1 奖励，让基座自己从 15.6% 的起点摸索，最终把 AIME 2024 的 pass@1 推到 71.0%——自我检查、回溯都不是被教的，而是「更可能答对」被强化出来的副产品。

上一张卡片我们发现"平均响应长度"一路在涨。长度本身不是坏事，问题是——它也会被优化器当成捷径。

关键在损失怎么算：GRPO 会把一条回答的总损失按 token 数做归一化（normalization），而每条回答的贡献又要在组内取平均。可以把这类比成按"每道题的平均分"给班级排名：一个学生交的题越少，他每道题占的权重就越大——于是"少做题"意外变成了一种策略。所以只要长度进了分母或求和，它就不再是中性的，而是一个可以被优化的维度。

更早的做法是只用最终对错、对长度不加任何约束——看上去最干净，但损失里的长度项会悄悄把「答错就多写」变成划算的选择：同组里答错的回答从 100 个 token 拉到 300 个，每个 token 分到的惩罚就从 0.01 摊薄到 0.0033——总惩罚不变，但长回答的逐 token 梯度被摊薄了。训练越久，错误回答被拉得越长。

上一张卡片我们算清了"想太久"的代价。既然长度既是成本、又能换来能力，那正确的问法就不是"要不要想久"，而是这笔预算怎么分配。

三种花法摆在一起看：串行（一条回答想更久）、并行（多条独立回答，投票或挑最好的）、验证器搜索（让另一个模型逐步打分并剪枝）。可以把这类比成解题时间：你可以一道题死磕一小时，也可以十分钟做一份、做四份再对答案——哪种更划算，取决于这道题值不值得死磕。

上一张卡片我们把"想多久"算成了一笔预算。那还有一条更省的路：不让小模型自己想，而是让它学会大模型怎么想。

这里有两种"搬"的方式，容易混：经典的知识蒸馏让学生的 logits 去逼近教师的 logits 分布（学的是"每个位置上老师会怎么选"）；而 R1 蒸馏是小模型直接模仿教师写出来的思考轨迹（一条条 token 序列）。可以把这类比成学做菜：前者是站在旁边看师傅每一步的手感，后者是照着师傅写好的菜谱一句句练。因此后者的实现简单得多——它就是一次普通的 SFT。

更自然的做法是让 7B 也自己跑 RL（和训大模型一样的流程）——但那需要环境、验证器与持续的在线采样，成本随采样量线性增长，7B 靠自己探索的上限也更低。R1 蒸馏先用 671B 的 R1 生成约 80 万条轨迹，小模型只做一次 SFT 就拿到 AIME 2024 55.5%——用一次性、可预估的离线成本，换教师已经探明的那条路径。