)
大模型圈子里有一个心照不宣的秘密：传统的 LLM 其实都是“快思考”的奴隶。
无论你问 GPT-4 还是 Claude 一个复杂的数学题，它们本质上都是在做一件事——凭借庞大的参数记忆，“脱口而出”下一个概率最大的 Token。这就像让一个没有草稿纸的学生做微积分，全凭直觉。
直到 DeepSeek-R1 的出现，它向世界证明了一件事：不需要极其庞大的神秘算力，也不需要修改 Transformer 的底层架构，只要用对“强化学习（RL）”和“思维链（CoT）”，大模型就能自己学会“在草稿纸上慢慢想”。
今天，我们就来扒开 DeepSeek-R1 的外衣，重点聊聊它最核心的两个武器：CoT（思维链）思想的演进，以及GRPO（群体相对策略优化）这个堪称“四两拨千斤”的算法创新。
一、 CoT 的进化论：从“人工教”到“机器悟”
要懂 R1，先得懂 CoT（Chain of Thought）。
CoT 的鼻祖是 2022 年 Google 的那篇经典论文，核心思想极其简单：在 Prompt 里给模型打几个“分步推理”的样例，模型的复杂推理能力就会飙升。
但这带来一个致命问题：“提示工程”是有天花板的。你在 Prompt 里教它分 3 步，它就只走 3 步；遇到需要 50 步的奥数题，它还是会胡说八道。而且，Few-shot CoT 极度依赖人工写的高质量示例，成本极高。
后来，业界开始用 SFT（监督微调）把 CoT 灌进模型里，但这又陷入了“数据飞轮”的陷阱——人类能写出来的推理过程，上限就在那里，模型永远无法超越人类的思考维度。
DeepSeek-R1 的独特见解在于：它彻底抛弃了“教”的思路，转向了“悟”。
在 R1 的早期实验版本 R1-Zero 中，研究人员甚至没有给模型任何 CoT 示例，只丢给它一堆数学题，然后告诉它：“做对了给奖励，做错了扣分”。奇迹发生了——在纯强化学习的驱动下，模型居然自己“涌现”出了长思维链。
更震撼的是，模型在思考过程中自发地写出了人类常说的话：
- *“Wait, let me recalculate…” (等等，我重新算一下)*
- *“Hmm, this approach seems wrong, let’s try another way.” (嗯，这条路不对，换一种)*
这就是 R1 对 CoT 思想的终极升华：真正的思维链不应该是预先写好的剧本，而应该是模型在探索未知时，为了获得更高奖励而自发产生的“求生本能”。
二、 破局点：为什么 PPO 搞不定，必须上 GRPO？
既然方向是强化学习（RL），那用现成的算法不就行了？遗憾的是，传统算法在这里碰了壁。
目前业界做 RL 对齐的标准答案是 PPO（Proximal Policy Optimization）。但 PPO 有个极其昂贵的部件：Critic（价值网络）。
你可以把 Critic 理解为一个“裁判”。在传统的对话场景里（比如让模型说一句有礼貌的话），Critic 只需要评估短短的一句话，负担不大。但在 R1 的推理场景里，模型会生成几千甚至上万个 Token 的推导过程！
你要让 Critic 准确评估“第 150 个 Token 到第 200 个 Token 的推导，对最终结果有多大贡献”，这简直比登天还难。训练这样一个能看懂长逻辑链的 Critic，耗费的显存和算力甚至比主模型还要大，而且极其容易崩溃。
GRPO（Group Relative Policy Optimization）就是 DeepSeek 在这里放出的“王炸”。
它的核心哲学只有一句话：不要去评估绝对价值，去比较相对好坏。
通俗理解 GRPO：一场没有标准答案的考试
想象你是一个高三班主任（RL 算法），你要判断班上 64 个学生（模型生成的 64 个回答）谁的学习方法好。传统 PPO 的做法是：请一个极其昂贵的外教，给每个学生的每一行草稿纸打分。
GRPO 的做法是：
- 同题比较：给这 64 个学生发同一道极难的压轴题。
- 只看结果：我不看草稿纸怎么写的，我只看最终答案。做对的，给高分；做错的，给低分。这就叫Rule-based Reward（规则奖励），完全不需要人类标注，也不需要庞大的 Critic 模型。
- 计算相对优势：这 64 个人的平均分算出来，比如是 60 分。学生 A 得了 90 分，那么他在群体中的相对优势就是 +30；学生 B 得了 40 分，相对优势就是 -20。
- 奖惩机制：回去复盘！学生 A 在推导过程中写的每一个步骤，都被打上“好”的标签，以后多写；学生 B 写的步骤被打上“坏”的标签，以后少写。
用数学语言来说，传统 PPO 的优势函数是A=R−V(s)（需要价值网络），而GRPO 的优势函数是A=（ri−mean(r))/std(r)（组内标准化）。
一招鲜，吃遍天。DeepSeek 砍掉了庞大无比的 Critic 网络，只用主模型自己就能跑起来。这意味着什么？意味着极低的训练门槛和极高的显存利用率，这也是为什么 DeepSeek 能用相对较低的算力，训练出比肩 OpenAI o1 的推理模型。
三、 R1 的四阶段马拉松：天才的驯化
如果你以为只有 GRPO + 纯 RL 就能搞定一切，那就太小看工程落地的难度了。R1-Zero 虽然聪明，但它的 CoT 是“野生的”，经常中英文混杂，甚至输出不可读的乱码。
为了把这匹“野马”变成“千里马”，DeepSeek-R1（完整版）设计了一个极其精妙的四阶段管线：
- 第一阶段：冷启动。找少量高质量的 CoT 数据进行 SFT。这就好比先教野马几个基本的口令（比如“请一步步思考”、“最终答案是”），让它知道输出长文本是安全的。
- 第二阶段：推理导向的 RL（GRPO 出场）。在数学、代码等“有绝对正确答案”的领域，疯狂使用 GRPO 进行强化学习。这一步让模型的逻辑能力彻底爆发。
- 第三阶段：拒绝采样 + 通用 SFT。第二阶段的模型变成了“数学疯子”，跟人聊天时会像个机器人一样疯狂列算式。于是，DeepSeek 用这个聪明绝顶的模型去生成大量通用问答、写作的数据，再进行一次 SFT，把它的“情商”拉回来。
- 第四阶段：全场景 RL。再次使用 GRPO，但这次不仅奖励“正确性”，还加入了“格式奖励”和“语言一致性奖励”，确保它既聪明又听话。
这四个阶段体现了极高的工程哲学：先用纯 RL 突破智力天花板，再用 SFT 修补社会性缺陷。
四、 笔者的独特见解：R1 给我们留下的三个启示
读懂了 GRPO 和 CoT 的共舞，我们其实看到了大模型发展的三个深层趋势：
1. “思考预算”的动态化是未来的刚需
传统的 LLM 是静态计算：输入一个词，跑一次前向传播，出结果。计算量是固定的。而 R1 开创了“推理期计算”的先河——简单问题一句话回答，复杂问题算一万个 Token。未来的 AI 应用，比拼的不再是谁的模型大，而是谁能最精准地分配“思考算力”。
2. GRPO 的本质是“去中心化”的评估体系
GRPO 之所以优雅，是因为它放弃了对“绝对真理”的执念。在复杂的逻辑推理中，连人类都无法准确评判中间步骤的价值，GRPO 干脆用统计学上的“群体均值”代替“绝对标准”。这是一种非常具有东方哲学意味的算法：不执着于完美的裁判，只在同辈的比较中螺旋上升。
3. “蒸馏”才是开源界的核武器
DeepSeek-R1 论文里有一个反直觉的结论：直接把 R1 生成的长思维链数据拿来，去 SFT（监督微调）一个毫无 RL 经验的小模型（比如 Qwen 或 Llama），小模型的表现竟然比直接对小模型做 RL 还要好！
这意味着什么？这意味着“思考能力”是可以被直接“复制粘贴”的。大模型通过 RL 艰难探索出的“解题路径”，对于小模型来说，只是一堆普通的文本规律。开源社区完全可以站在巨人的肩膀上，用极其低廉的成本，让端侧手机模型拥有媲美云端大模型的推理能力。
结语
从 CoT 的提出，到 DeepSeek-R1 中 GRPO 的大放异彩，大模型正在经历一场从“直觉驱动”到“逻辑驱动”的蜕变。
DeepSeek 并没有发明什么惊世骇俗的新架构，他们只是把强化学习的底层逻辑抠到了极致，把 CoT 从一种“Prompt 技巧”变成了一种“内生本能”。在这个算力被少数巨头垄断的时代，GRPO 证明了：聪明的算法，依然能打败粗暴的算力。
下次当你看到大模型在屏幕上缓缓打出“Let’s think step by step”并自我纠错时，不要只觉得神奇。你要知道，在那串文字背后，是一个群体正在通过 GRPO 算法，进行着亿万次的相对比较与自我进化。
这，就是 AI 学会思考的真正起点。
