DeepSeek-R1:用强化学习激发大模型的推理能力

这一节先说清楚论文要解决的痛点,以及它给出的反直觉答案。

推理能力是人类智能的基石——从解数学题到逻辑推导再到写程序,都靠它。近年人们发现,大语言模型(LLM)规模够大时会「涌现」出推理能力,而 思维链(CoT)提示 又能进一步把这种能力放出来:只要给几个范例,或者加一句「Let's think step by step(让我们一步步思考)」,模型就会先写出中间推理步骤,复杂任务的表现随之大幅提升。

但这条路有个根本瓶颈。无论是 CoT 提示还是后训练阶段学习「高质量多步推理轨迹」,都严重依赖人工标注的推理过程。这带来两个问题:一是人工标注慢、难规模化、还会引入人的认知偏见;二是更要命的——当你逼着模型去模仿人类的思考方式,它的上限就被人类示范钉死了,模型再也探索不到那些「不像人、但可能更好」的推理路径。

由此训练出的第一个模型叫 DeepSeek-R1-Zero。但它有毛病:可读性差、中英文混着说。于是作者又造了 DeepSeek-R1——在 R1-Zero 的推理能力之上,用多阶段训练把它的行为对齐到人类偏好。此外,团队还把推理能力蒸馏进了几个更小的模型并开源,让低算力、低能耗也能用上强推理。

不教怎么想,只给一个格式模板和一个对错奖励,看模型自己进化成什么样。

训练 R1-Zero 时,作者只给模型设了一个极简的格式约束:先在 <think> 标签里写推理过程,再在 <answer> 标签里给答案。除此之外不加任何「内容上」的引导——目的就是干净地观察模型在 RL 过程中的自然演化。下面是实际用的提示模板(翻译大意):

<think> 推理过程写在这里 </think>
<answer> 答案写在这里 </answer>

User: {把这里换成具体的推理问题}
Assistant:

就这么简单的设定,结果非常惊人。在 AIME 2024(美国数学邀请赛)这个高难基准上,模型的平均 pass@1 成绩一路飙升;再配合自一致性解码(self-consistency)多次采样投票,成绩进一步拔高,远远超过了 AIME 所有人类参赛者的平均水平。除了数学,R1-Zero 在编程竞赛和研究生级别的生物、物理、化学问题上同样表现出色。

训练途中,模型突然学会了「等一下,我好像错了」——这是全文最戏剧性的一幕。

在训练某个中间版本时,作者观察到一个被称为 「顿悟时刻」(aha moment) 的现象:模型在反思时,「wait(等等)」这个词的使用频率突然激增。这标志着推理模式发生了一次明显的转变,清晰地展示了 R1-Zero 的自我进化过程。论文里给了一个实例:模型在解一个含嵌套根号的方程时,算到一半突然冒出来一句——

R1-Zero 很能推理但「不好好说话」。R1 用一条四阶段管线,把推理能力和人类偏好缝合到一起。

R1-Zero 的问题前面说过:可读性差、中英文混杂(因为底座 V3 在中英双语上训练),而且它纯靠规则奖励、只盯着推理任务,所以在写作、开放域问答这些更广的领域表现有限。为解决这些问题,作者设计了 DeepSeek-R1 的多阶段管线,整体经历 Dev1 → Dev2 → Dev3 三个中间检查点,最后到 R1。

🪜 四个阶段分别在做什么

• ①
  冷启动 SFT(→ Dev1):先收集数千条具有「对话式、人类对齐的思考过程」的冷启动数据做监督微调。对比 R1-Zero,Dev1 的指令遵循明显变强(IF-Eval、Arena-Hard 提升);但因冷启动数据量有限,推理能力反而略有回退(尤其 AIME 下降)。这是「先学会好好说话」付出的暂时代价。
• ②
  推理向 RL(→ Dev2):用规则奖励做强化学习,并引入语言一致性奖励压制中英混杂。Dev2 在代码、数学、STEM 等需要硬推理的基准上大幅跃升,而像 AlpacaEval 2.0 这类通用偏好基准只是小幅改善——说明推理向 RL 主要补推理,对用户偏好影响有限。
• ③
  拒绝采样 + SFT(→ Dev3):把推理和非推理数据(含大规模写作语料、代码工程数据)一起喂进 SFT。Dev3 在 AlpacaEval 2.0 和 Aider-Polyglot 上明显进步,既会推理也会写作。
• ④
  全面 RL(→ R1):在 Dev3 上用「推理向 + 通用」混合数据做最终 RL。此时数学/代码只小幅提升(因为前面已经强化够了),最大的进步在通用指令遵循和用户偏好上:AlpacaEval 2.0 提升 25%、Arena-Hard 提升 17%。

支撑整套训练的两块基石:一个更省的 RL 算法,和一套「不容易被钻空子」的奖励。

🎁 奖励设计:为什么坚持用「规则」而非「神经网络」

奖励是训练信号的源头,决定了 RL 优化的方向。R1-Zero 在数学、代码、逻辑这类有确定答案的领域只用规则奖励;到了 R1,才对通用数据额外引入模型奖励。规则奖励由两部分组成:

这一节把论文 Methods 里的具体训练数字完整收录,方便复现与对照。前面讲「怎么想」,这里讲「具体怎么训」。

🧪 DeepSeek-R1-Zero 的训练细节

• 🎚️
  基础超参:学习率 3×10⁻⁶,KL 系数 0.001,rollout 采样温度 1。
• 🔢
  采样与长度:每个问题采样 16 个输出;最大长度在第 8.2k 步之前为 32,768 token,之后提升到 65,536 token。正是这次提升,让性能和回答长度在 8.2k 步出现明显跃升。
• 📦
  批次与步数:每个训练步含 32 个不同问题,训练批大小为 512/步;每 400 步用最新策略模型替换参考模型;共训练 10,400 步,相当于 1.6 个 epoch。
• ⚡
  加速技巧:每次 rollout 生成 8,192 个输出,随机切成 16 个 minibatch,每个只训练单个内部 epoch。「一个训练步」指一次策略更新操作。

🥇 第一阶段 RL 的训练细节

• 🎚️
  基础超参:学习率 3×10⁻⁶,KL 系数 0.001,GRPO clip 比例 ε=10,采样温度 1;每题采样 16 个输出、最大长度 32,768;每步 32 题(批大小 512),每 400 步替换参考模型,rollout/minibatch 设置同上。
• 🈳
  语言一致性奖励:为缓解语言混杂,引入该奖励,定义为 CoT 中目标语言词数占总词数的比例(Num(目标语言词) / Num(总词)),直接加到最终奖励上,对推理和非推理数据都适用。

🥈 第二阶段 RL 的训练细节

• 🌡️
  温度降到 0.7:第二阶段保留第一阶段大部分参数,关键差异是采样温度从 1 降到 0.7——因为作者发现此阶段温度过高会导致生成不连贯。
• 🔢
  步数安排:共 1,700 个训练步,其中通用指令数据和基于偏好的奖励只在最后 400 步引入。原因是:用更多步数跑模型偏好奖励反而会触发奖励黑客。
• 🧮
  奖励组合(第二阶段):总奖励 = 推理奖励 + 通用奖励 + 语言奖励;其中推理奖励 = 规则奖励,通用奖励 = 模型奖励 + 格式奖励。推理数据沿用 R1-Zero 的规则奖励,通用数据用奖励模型引导。

🎁 两个奖励模型的训练参数

把 R1-Zero、Dev1/2/3、最终 R1 放在一起看,能清楚看到每个阶段「补」了什么。

下面是论文 Table 2 的完整数据(全部 21 项基准)。读这张表的诀窍是:横着看一行,就能看出某项能力是在哪个阶段被拉起来的。例如代码和数学主要在 Dev2 起飞,而通用偏好类(AlpacaEval、Arena-Hard)则在最终 R1 阶段才完成质变。表中蓝色高亮表示该行最优值。

• 📉
  Dev1 的「回退」是预期内的:冷启动 SFT 让指令遵循变强,但因数据量小,AIME 从 77.9 掉到 59.0、CNMO 从 88.1 掉到 58.0。这说明「先学好好说话」会暂时牺牲一点纯推理。
• 🚀
  Dev2 是推理的引爆点:推理向 RL 之后,代码、数学、STEM 全线回升并超越 Dev1,而通用偏好基准只小幅动——印证了「推理向 RL 主要补推理」。
• 🎨
  Dev3 补通用能力:混入非推理语料后,Aider-Polyglot 从 25.6 跳到 44.8,AlpacaEval 也明显上升。
• 🏆
  R1 的临门一脚在「偏好」上:最终 RL 后数学/代码只微涨(前面已榨干),但 AlpacaEval 2.0 提升 25%、Arena-Hard 提升 17%,Codeforces 评分冲到 2029。

论文很诚实地列出了 R1 还做不好的地方,以及纯 RL 方法本身的天花板。

🚧 具体能力局限

• 🔧
  结构化输出与工具使用:R1 的结构化输出能力仍逊于现有模型,而且不能调用搜索引擎、计算器等工具来辅助。不过作者认为为「结构化输出 + 工具使用」搭一个 RL 环境并不难,下个版本会解决。
• 🎚️
  Token 效率(过度思考):不同于多数投票或蒙特卡洛树搜索(MCTS),R1 会按问题难度动态分配算力——简单题少花 token,难题多花。但简单问题上仍会出现「想太多(overthinking)」,效率还有优化空间。
• 🌍
  语言混杂:R1 目前为中英文优化,处理其他语言的查询时可能出现语言混杂(比如查询是别的语言,它却用英文推理和回答)。这可能源自底座 V3 Base 主要用中英文训练。
• 📝
  对提示敏感:评估发现 R1 对提示很敏感,少样本(few-shot)提示反而会持续拉低它的表现。作者建议用户直接描述问题、用零样本(zero-shot)设定、并明确指定输出格式,效果最好。
• 💻
  软件工程任务:因评估耗时长、拖慢 RL 效率,大规模 RL 还没充分用在软工任务上,所以 R1 在软工基准上相比 V3 提升不大。未来会用拒绝采样或异步评估来改善。

论文同时公开了模型权重、数据样本与技术栈,这一节把这些信息完整收录。

• ⚖️
  模型权重:DeepSeek-R1-Zero 和 DeepSeek-R1 的训练权重以 MIT 许可证在 GitHub(deepseek-ai/DeepSeek-R1)发布,并归档到 Zenodo。
• 📂
  数据样本:用于拒绝采样和 RL 提示的数据样本同样在该 GitHub 仓库提供;完整的数据生成方法学统计见补充材料 2.3。
• 🧰
  推理脚本:在 deepseek-ai/DeepSeek-V3 仓库发布。
• 🔬
  技术栈:神经网络用 PyTorch 开发,分布式框架基于内部框架 HAI-LLM,推理框架基于 vLLM。数据分析用 Python 3.8、NumPy 1.23.1、Matplotlib 3.5.2、TensorBoard 2.9.1。
• 👥
  作者与利益声明:作者来自 DeepSeek-AI 团队(杭州),通讯作者梁文锋(Wenfeng Liang)。作者声明无竞争利益,且不会就本文内容申请专利。