【新智元导读】就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证「啊哈时刻」！
全球AI大模型，或许正在进入下一分水岭。这些天，硅谷彻底处于中国公司带来的大地震余波中。全美都在恐慌：是否全球人工智能的中心已经转移到了中国？就在这当口，全球复现DeepSeek的一波狂潮也来了。诚如LeCun所言：「这一次，正是开源对闭源的胜利！」
在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的DeepSeek，或将威胁到美国的AI霸权。大模型比拼的不再是动辄千万亿美元的算力战。
OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解，英伟达的股价将开始动摇。种种这些观点和讨论，让人不禁怀疑：数百亿美元支出，对这个行业真的必要吗？
甚至有人说，中国量化基金的一群天才，将导致纳斯达克崩盘。从此，大模型时代很可能会进入一个分水岭：超强性能的模型不再独属于算力巨头，而是属于每个人。
30美金，就能看到「啊哈」时刻来自UC伯克利博士生潘家怡和另两位研究人员，在CountDown游戏中复现了DeepSeek R1-Zero。他们表示，结果相当出色！实验中，团队验证了通过强化学习RL，3B的基础语言模型也能够自我验证和搜索。更令人兴奋的是，成本不到30美金（约217元），就可以亲眼见证「啊哈」时刻。
港科大助理教授何俊贤的团队（共同一作黄裕振、Weihao Zeng），只用了8K个样本，就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。
项目地址：https://github.com/hkust-nlp/simpleRL-reason他们以Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。最终，模型在AIME基准上实现了33.3%的准确率，在AMC上为62.5%，在MATH上为77.2%。这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！
该实现基于OpenRLHF。初步试验表明，这个奖励函数有助于策略模型快速收敛，产生符合期望格式的输出。第一部分：SimpleRL-Zero（从头开始的强化学习）接下来，研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。训练过程动态分析如下所示，所有基准测试的准确率在训练过程中都在稳步提高，而输出长度则呈现先减少后逐渐增加的趋势。经过进一步调查，研究者发现，Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码，这可能源于模型原始训练数据的分布特征。输出长度的首次下降，是因为强化学习训练逐渐消除了这种代码生成模式，转而学会使用自然语言进行推理。随后，生成长度开始再次增加，此时出现了自我反思机制。
训练奖励和输出长度
基准测试准确率（pass@1）和输出长度自我反思机制的涌现在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的「aha moment」（顿悟时刻）。
基准测试准确率（pass@1）和输出长度Qwen2.5-SimpleRL的训练动态表现与Qwen2.5-SimpleRL-Zero相似。有趣的是，尽管研究者先进行了long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。他们推测，这可能是因为从QwQ提取的推理模式不适合小型策略模型，或超出了其能力范围。因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。最后，研究者用达芬奇的一句话，对这项研究做了总结——简约，便是最终极的精致。
甚至，就连全球最大开源平台HuggingFace团队，今天官宣复刻DeepSeek R1所有pipeline。复刻完成后，所有的训练数据、训练脚本等等，将全部开源。
项目地址：https://github.com/huggingface/open-r1研究团队以DeepSeek-R1技术报告为指导，将整个复刻过程划分为三个关键步骤。步骤 1：通过从DeepSeek-R1蒸馏高质量语料库，复现R1-Distill模型。步骤 2：复现DeepSeek用于创建R1-Zero的纯强化学习（RL）流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。步骤 3：展示我们如何通过多阶段训练，从基础模型发展到经过RL调优的模型。
一个副业项目，让全世界科技大厂为之惶恐。DeepSeek这波成功，也成为业界的神话，网友最新截图显示，这款应用已经在APP Store「效率」应用榜单中挤进前三。
twitter
【新智元导读】就在刚刚，网上已经出现了一波复现DeepSeek的狂潮。UC伯克利、港科大、HuggingFace等纷纷成功复现，只用强化学习，没有监督微调，30美元就能见证「啊哈时刻」！
全球AI大模型，或许正在进入下一分水岭。这些天，硅谷彻底处于中国公司带来的大地震余波中。全美都在恐慌：是否全球人工智能的中心已经转移到了中国？就在这当口，全球复现DeepSeek的一波狂潮也来了。诚如LeCun所言：「这一次，正是开源对闭源的胜利！」
在没有顶级芯片的情况下，以极低成本芯片训出突破性模型的DeepSeek，或将威胁到美国的AI霸权。大模型比拼的不再是动辄千万亿美元的算力战。
OpenAI、Meta、谷歌这些大公司引以为傲的技术优势和高估值将会瓦解，英伟达的股价将开始动摇。种种这些观点和讨论，让人不禁怀疑：数百亿美元支出，对这个行业真的必要吗？
甚至有人说，中国量化基金的一群天才，将导致纳斯达克崩盘。从此，大模型时代很可能会进入一个分水岭：超强性能的模型不再独属于算力巨头，而是属于每个人。
30美金，就能看到「啊哈」时刻来自UC伯克利博士生潘家怡和另两位研究人员，在CountDown游戏中复现了DeepSeek R1-Zero。他们表示，结果相当出色！实验中，团队验证了通过强化学习RL，3B的基础语言模型也能够自我验证和搜索。更令人兴奋的是，成本不到30美金（约217元），就可以亲眼见证「啊哈」时刻。
港科大助理教授何俊贤的团队（共同一作黄裕振、Weihao Zeng），只用了8K个样本，就在7B模型上复刻出了DeepSeek-R1-Zero和DeepSeek-R1的训练。结果令人惊喜——模型在复杂的数学推理上取得了十分强劲结果。
项目地址：https://github.com/hkust-nlp/simpleRL-reason他们以Qwen2.5-Math-7B（基础模型）为起点，直接对其进行强化学习。整个过程中，没有进行监督微调（SFT），也没有使用奖励模型。最终，模型在AIME基准上实现了33.3%的准确率，在AMC上为62.5%，在MATH上为77.2%。这一表现不仅超越了Qwen2.5-Math-7B-Instruct，并且还可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美！
该实现基于OpenRLHF。初步试验表明，这个奖励函数有助于策略模型快速收敛，产生符合期望格式的输出。第一部分：SimpleRL-Zero（从头开始的强化学习）接下来，研究者为我们分享了训练过程动态分析和一些有趣的涌现模式。训练过程动态分析如下所示，所有基准测试的准确率在训练过程中都在稳步提高，而输出长度则呈现先减少后逐渐增加的趋势。经过进一步调查，研究者发现，Qwen2.5-Math-7B基础模型在初始阶段倾向于生成大量代码，这可能源于模型原始训练数据的分布特征。输出长度的首次下降，是因为强化学习训练逐渐消除了这种代码生成模式，转而学会使用自然语言进行推理。随后，生成长度开始再次增加，此时出现了自我反思机制。
训练奖励和输出长度
基准测试准确率（pass@1）和输出长度自我反思机制的涌现在训练到第 40 步左右时，研究者观察到：模型开始形成自我反思模式，这正是DeepSeek-R1论文中所描述的「aha moment」（顿悟时刻）。
训练奖励和输出长度
基准测试准确率（pass@1）和输出长度Qwen2.5-SimpleRL的训练动态表现与Qwen2.5-SimpleRL-Zero相似。有趣的是，尽管研究者先进行了long CoT SFT，但在强化学习初期仍然观察到输出长度减少的现象。他们推测，这可能是因为从QwQ提取的推理模式不适合小型策略模型，或超出了其能力范围。因此，模型选择放弃这种模式，转而自主发展新的长链式推理方式。最后，研究者用达芬奇的一句话，对这项研究做了总结——简约，便是最终极的精致。
甚至，就连全球最大开源平台HuggingFace团队，今天官宣复刻DeepSeek R1所有pipeline。复刻完成后，所有的训练数据、训练脚本等等，将全部开源。
项目地址：https://github.com/huggingface/open-r1研究团队以DeepSeek-R1技术报告为指导，将整个复刻过程划分为三个关键步骤。步骤 1：通过从DeepSeek-R1蒸馏高质量语料库，复现R1-Distill模型。步骤 2：复现DeepSeek用于创建R1-Zero的纯强化学习（RL）流程。这可能需要为数学、推理和代码任务策划新的大规模数据集。步骤 3：展示我们如何通过多阶段训练，从基础模型发展到经过RL调优的模型。
一个副业项目，让全世界科技大厂为之惶恐。DeepSeek这波成功，也成为业界的神话，网友最新截图显示，这款应用已经在APP Store「效率」应用榜单中挤进前三。
https://x.com/jiayi_pirate/status/1882839370505621655