DeepSeek-R1-Zero开源：纯RL训练的推理新突破

DeepSeek-R1-Zero开源：纯RL训练的推理新突破

【免费下载链接】DeepSeek-R1-Zero探索新一代推理模型，DeepSeek-R1-Zero以大规模强化学习训练，展现卓越推理能力，开启无限可能。我们开源了DeepSeek-R1-Zero和DeepSeek-R1，以及基于Llama和Qwen系列优化的六款压缩模型，助力科研社区创新突破。项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1-Zero

导语

DeepSeek-R1-Zero推理模型正式开源，其创新性地采用纯强化学习（RL）训练方法，跳过传统监督微调步骤，在数学、代码等复杂推理任务上展现出接近OpenAI o1的性能，为大模型推理能力提升开辟新路径。

行业现状

当前大语言模型推理能力的提升主要依赖两种技术路径：一是通过海量高质量数据进行监督微调（SFT），二是在SFT基础上结合人类反馈强化学习（RLHF）。然而，这两种方法普遍面临推理过程生硬、创造性不足等问题。近期OpenAI o1系列通过"思考优先"模式实现突破，但闭源模式限制了技术普惠。在此背景下，开源社区亟需能够自主探索推理路径的新型训练范式。

产品/模型亮点

DeepSeek-R1-Zero最显著的创新在于其纯强化学习训练范式。该模型直接在基础模型上应用大规模强化学习，完全跳过传统SFT阶段，使模型能够自主探索解决复杂问题的思维链（CoT）。这种"无SFT先验"的训练方式，让模型自然涌现出自我验证、多步反思等高级推理行为，在数学推理和代码生成领域表现尤为突出。

为验证模型性能，研究团队在多个权威基准上进行了测试。如图所示，在AIME 2024数学竞赛题中，DeepSeek-R1取得79.8%的正确率，超越OpenAI o1-1217的79.2%；在MATH-500数据集上更是达到97.3%的通过率，展现出卓越的复杂问题解决能力。

这张对比图清晰展示了DeepSeek-R1与主流模型在关键推理基准上的性能差异。从MMLU到Codeforces等多维度评估中，该模型多项指标达到或超越闭源竞品，印证了纯RL训练方法的有效性。对于开发者和研究人员而言，这些数据为选择推理模型提供了客观参考。

除基础模型外，DeepSeek团队还开源了基于Llama和Qwen系列优化的六款压缩模型。其中DeepSeek-R1-Distill-Qwen-32B在多个基准上超越OpenAI o1-mini，成为当前稠密模型中的性能新标杆。这些轻量化模型将高级推理能力带到资源受限场景，降低了技术应用门槛。

行业影响

DeepSeek-R1-Zero的开源将对AI推理技术发展产生多重影响。首先，其纯RL训练范式证明了不依赖高质量标注数据也能培养复杂推理能力，为数据稀缺领域的模型训练提供新思路。其次，开源模型及蒸馏版本形成完整技术生态，使中小企业和研究者能低成本获取接近顶级闭源模型的推理能力。

从长远看，这种"推理原生"训练方法可能推动大模型从"模仿智能"向"自主智能"演进。模型在RL过程中展现的自我修正、多路径探索等特性，暗示了通用人工智能的潜在发展方向。同时，MIT许可证允许商业使用和二次开发，预计将催生教育、科研、工程计算等领域的创新应用。

结论/前瞻

DeepSeek-R1-Zero的开源标志着大模型推理训练进入"无SFT时代"。其在数学推理（AIME 79.8%）、代码生成（Codeforces rating 2029）等硬核指标上的突破，证明了强化学习在培养高阶认知能力上的巨大潜力。随着开源社区的进一步优化，我们有理由期待纯RL训练模型在医疗诊断、科学发现等专业领域的深度应用。

对于开发者而言，建议优先关注32B参数的蒸馏版本，它在保持高性能的同时具备更优的部署效率。而研究人员则可深入探索RL训练中推理行为的涌现机制，这可能是解开通用人工智能奥秘的关键钥匙。在AI技术快速迭代的今天，DeepSeek-R1-Zero的开源不仅是技术分享，更是对"开放协作推动AI进步"理念的有力践行。

【免费下载链接】DeepSeek-R1-Zero探索新一代推理模型，DeepSeek-R1-Zero以大规模强化学习训练，展现卓越推理能力，开启无限可能。我们开源了DeepSeek-R1-Zero和DeepSeek-R1，以及基于Llama和Qwen系列优化的六款压缩模型，助力科研社区创新突破。项目地址: https://ai.gitcode.com/hf_mirrors/deepseek-ai/DeepSeek-R1-Zero