网站流量图片生成,阜新小程序 阜新网站建设开发,娱乐建设网站,全渠道营销的概念如何通过强化学习#xff08;RL#xff09;有效提升大型语言模型#xff08;LLM#xff09;的推理能力#xff1f; 《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》由DeepSeek-AI团队撰写#xff0c;主要介绍了他们开发的第一代… 如何通过强化学习RL有效提升大型语言模型LLM的推理能力 《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》由DeepSeek-AI团队撰写主要介绍了他们开发的第一代推理模型DeepSeek-R1-Zero和DeepSeek-R1以及如何通过强化学习Reinforcement Learning, RL提升大型语言模型LLMs的推理能力。论文展示了一种前沿的开源推理模型(Reasoning model)以及使用大规模强化学习技术训练此类模型的详细方法。 本文介绍了DS团队的第一代推理模型 DeepSeek-R1-Zero 和 DeepSeek-R1。DeepSeek-R1-Zero 是通过大规模强化学习(RL)训练的模型没有经过监督微调SFT作为初步步骤展示了显著的推理能力。通过强化学习DeepSeek-R1-Zero自然展现出许多强大且有趣的推理行为。然而它面临着可读性差和语言混合等挑战。为了解决这些问题并进一步提升推理性能DS团队推出了 DeepSeek-R1该模型在强化学习之前融入了多阶段训练和冷启动数据。DeepSeek-R1 在推理任务上的表现与 OpenAI-o1-1217 相当。为了支持研究社区DS团队开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及从 6个从 DeepSeek-R1 蒸馏出的稠密模型1.5B、7B、8B、14B、32B、70B这些模型基于 Qwen 和 Llama 构建。 DeepSeek-R1-Zero无需SFT(监督式微调)纯RL展现了自我进化能力但存在可读性问题。 DeepSeek-R1冷启动 多阶段训练解决Zero遇到的问题多个推理benchmark上取得了和OpenAI-o1-1217相近的水平。 小模型蒸馏知识蒸馏后的小模型在推理benchmark上也表现出强大的竞争力远超原始开源模型包括Qwen2.5和Llama3。 一、背景
近年来大型语言模型(LLMs)经历了快速的迭代和演变逐渐缩小了与人工通用智能(AGI)之间的差距。最近后训练已成为完整训练流程中的一个重要组成部分。研究表明它能够提高推理任务的准确性与社会价值观保持一致并适应用户偏好同时在计算资源需求上相较于预训练相对较少。在推理能力的背景下OpenAI的o1系列模型首次通过增加链式思维推理过程的长度引入了推理时的扩展。这种方法在数学、编程和科学推理等各种推理任务中取得了显著的改善。然而有效的测试时间扩展的挑战仍然是研究界的一个未解之谜。之前的几项研究探索了各种方法包括基于过程的奖励模型(PRM)、强化学习(RL)以及搜索算法如蒙特卡洛树搜索(MCTS)和束搜索(BS)。然而这些方法都未能实现与OpenAI的o1系列模型相当的通用推理性能。
1. 现有模型在复杂推理任务如数学证明、代码生成、科学问题解答上的表现仍存在显著瓶颈。传统的监督微调SFT虽能部分提升性能但依赖大量标注数据且难以覆盖长链、多步推理场景。
2. 后训练Post-Training的重要性。后训练如强化学习、对齐优化已成为LLMs能力提升的关键环节。它能够以较低算力成本优化模型的推理能力、价值观对齐和用户适应性。例如OpenAI的o1系列通过动态扩展推理链长度Chain-of-Thought, CoT显著提升了数学和编码任务的性能。然而如何高效实现“测试时计算扩展”即在推理过程中灵活调整计算资源仍是一个开放挑战。
3. 此外现有方法也存在一定的局限性
基于过程的奖励模型PRM依赖对中间步骤的细粒度奖励但标注成本高且易受奖励劫持Reward Hacking影响。搜索算法如蒙特卡洛树搜索在复杂任务中面临搜索空间爆炸问题难以规模化。混合监督与强化学习需大量标注数据限制了模型的自主演化潜力。 二、方法
2.1 概述
DeepSeek-R1-Zero纯强化学习 直接在基础模型上应用强化学习不使用任何 SFT 数据。探索 LLM 在纯 RL 环境下的自演化过程使其自主发展推理能力。 DeepSeek-R1冷启动 多阶段训练 使用少量高质量长链思维(CoT)数据进行冷启动预热模型。进行面向推理的强化学习提升模型在推理任务上的性能。使用拒绝采样和监督微调进一步提升模型的综合能力。再次进行强化学习使模型在所有场景下都表现良好。 知识蒸馏 将 DeepSeek-R1 的推理能力蒸馏到更小的模型中使小模型也具有强大的推理能力。 2.2 DeepSeek-R1-Zero基础模型上的强化学习
强化学习在推理任务中表现出显著的有效性正如之前的研究所证明的那样。然而这些研究都在很大程度上依赖监督数据而这些数据的收集过程非常耗时。DeepSeek-R1-Zero探讨了在没有任何监督数据的情况下LLMs 如何通过纯强化学习过程自我演化并发展推理能力。首先简要概述了我们的 RL 算法然后呈现一些令人兴奋的结果希望能为社区提供有价值的见解。 2.2.1 强化学习算法 群体相对策略优化为了节省强化学习的训练成本DS团队采用了 Group Relative Policy Optimization (GRPO)它不依赖于通常与策略模型大小相同的评价模型而是通过从组得分中估计基线。具体而言对于每个问题 GRPO 从旧的策略中采样一组输出 {1, 2, ···, }然后通过最大化以下目标来优化策略模型 2.2.2 奖励模型
奖励是训练信号的来源决定了强化学习(RL)的优化方向。为了训练 DeepSeek-R1-Zero采用了一种基于规则的奖励系统主要由两种类型的奖励组成
准确度奖励Accuracy rewards准确度奖励模型用于评估响应是否正确。例如在具有确定性结果的数学问题中要求模型以指定的格式例如在一个框内提供最终答案从而可以通过可靠的规则进行正确性验证。同样对于 LeetCode 问题可以使用编译器基于预定义的测试用例生成反馈。
格式奖励Format rewards除了准确度奖励模型外还使用了格式奖励模型强制模型将其思维过程放置在 think 和 /think标签之间。
在开发 DeepSeek-R1-Zero 时没有应用基于结果或过程的神经奖励模型因为在大规模强化学习过程中神经奖励模型可能会遭遇奖励操控问题并且重新训练奖励模型需要额外的训练资源这会使整个训练流程变得更加复杂。 2.2.3 训练模板
为了训练 DeepSeek-R1-Zero首先设计了一个简单的模板指导基础模型遵循指定的指令。
如表 1 所示该模板要求 DeepSeek-R1-Zero 首先生成推理过程然后给出最终答案。模板示例如下 表1用户(User)和助手(Assistant)之间的对话。用户提出了一个问题助手解决了这个问题。助手首先在脑海中思考推理过程然后向用户提供答案。推理过程和答案分别包含在标签 think /think和 answer /answer 中即
think reasoning process here /think, answer answer here /answer。
User: prompt.
Assistant:
DS团队有意将约束限制在这种结构格式上同时避免任何内容特定的偏见例如强制要求反思性推理或推广特定的解题策略——以确保能够准确观察模型在强化学习过程中的自然进展。 2.2.4 性能、自我进化过程和顿悟时刻
性能 自我进化过程
自我进化过程是一个引人注目的示范展示了强化学习如何驱动模型自主提升其推理能力。通过直接从基础模型开始强化学习可以在没有监督微调阶段影响的情况下密切监控模型的进展。这种方法清晰地展示了模型如何随着时间的推移不断进化特别是在处理复杂推理任务的能力方面。
如图3 所示DeepSeek-R1-Zero的思维时间在整个训练过程中持续改进。这种改进不是外部调整的结果而是模型内部的自我发展。DeepSeek-R1-Zero通过利用扩展的测试时间计算自然获得了解决越来越复杂推理任务的能力。这些计算从生成数百个到数千个推理标记不等使得模型能够更深入地探索和完善其思维过程。
这种自我进化的一个最显著的方面是随着测试时间计算的增加复杂行为的出现。比如反思行为——模型回顾并重新评估之前的步骤——以及探索问题解决替代方法的行为都是自发产生的。这些行为并非显式编程所致而是模型与强化学习环境互动的结果。这种自发的发展显著增强了DeepSeek-R1-Zero的推理能力使其能够以更高的效率和准确性应对更具挑战性的任务。 “Aha Moment” - 顿悟时刻 在DeepSeek-R1-Zero的训练过程中观察到一个特别有趣的现象即发生了“顿悟”时刻。如表3所示这一时刻出现在模型的一个中间版本中。在此阶段DeepSeek-R1-Zero通过重新评估其初始方法学会了为一个问题分配更多的思考时间。这种行为不仅证明了模型推理能力的提升而且是强化学习如何导致意外且复杂结果的迷人示例。 这个时刻不仅是模型的“顿悟”也是观察其行为的研究人员的“顿悟”。
它强调了强化学习的力量与美妙并没有显式地教模型如何解决问题而是为其提供了正确的激励模型自主发展出先进的问题解决策略。这个“顿悟”时刻有力地提醒我们强化学习能够解锁人工系统中智能的新层次为未来更具自主性和适应性的模型铺平道路。 DeepSeek-R1-Zero的缺点
尽管 DeepSeek-R1-Zero 展现了强大的推理能力并能自主发展出意想不到且强大的推理行为但它仍然面临一些问题。例如DeepSeek-R1-Zero 在可读性差和语言混杂等问题上存在困难。为了使推理过程更加易读并与开放社区分享DS团队继续探索了DeepSeek-R1一种结合了强化学习与人性化冷启动数据的方法。 2.3 DeepSeek-R1结合冷启动的强化学习
受到DeepSeek-R1-Zero取得的良好结果的启发产生了两个自然而然的问题
1通过引入少量高质量数据作为冷启动是否能够进一步提高推理性能或加速收敛
2如何训练一个既能生成清晰连贯的推理链CoT又能展现出强大通用能力的用户友好型模型
为了解决这些问题DS团队设计了一个训练深度寻求-R1的流程。该流程包括四个阶段概述如下 2.3.1 冷启动
与 DeepSeek-R1-Zero 不同为了防止强化学习训练的早期冷启动阶段在基础模型上出现不稳定现象在 DeepSeek-R1 中DS团队构建并收集了少量的高质量长推理链CoT数据用以微调模型作为初始的 RL 行为目标。
为了收集这些数据DS团队探索了几种方法使用少量示例提示与长推理链的结合直接提示模型生成带有反思和验证的详细回答收集DeepSeek-R1-Zero输出的可读格式并通过人工注释者后处理以优化结果。
在这项工作中DS团队收集了数千条冷启动数据用于微调 DeepSeek-V3-Base作为强化学习的起点。与DeepSeek-R1-Zero相比冷启动数据的优势包括
可读性DeepSeek-R1-Zero的一个主要限制是其内容通常不适合阅读。响应可能会混合多种语言或者缺乏Markdown格式来突出显示给用户的答案。相比之下在为DeepSeek-R1创建冷启动数据时DS团队设计了一个可读的模式包括每个响应末尾都有一个摘要并且过滤掉不适合阅读的响应。这里定义输出格式为 |special_token| reasoning_process|special_token| summary其中推理过程是针对查询的CoT而摘要则用于总结推理结果。
潜力通过精心设计结合人工先验的冷启动数据模式观察到DeepSeek-R1在性能上优于DeepSeek-R1-Zero。DS团队认为迭代训练是推理模型的一种更好的方法。 2.3.2 面向推理的强化学习
在对DeepSeek-V3-Base进行冷启动数据微调后DS团队采用与DeepSeek-R1-Zero相同的大规模强化学习训练过程。
这个阶段重点提升模型的推理能力特别是在推理密集型任务中如编码、数学、科学和逻辑推理等这些任务涉及明确定义的问题和清晰的解决方案。在训练过程中观察到CoT经常出现语言混合尤其是在强化学习提示涉及多种语言时。为了缓解语言混合的问题DS团队在强化学习训练中引入了语言一致性奖励这一奖励是根据推理链中目标语言词汇的比例计算的。尽管消融实验表明这种对齐会导致模型性能略微下降但这一奖励与人类偏好一致使得模型输出更具可读性。最后通过直接将推理任务的准确性和语言一致性奖励相加形成最终的奖励。然后对微调后的模型进行强化学习训练直到其在推理任务上收敛。 2.3.3 拒绝采用与监督微调
当面向推理的强化学习收敛后DS团队利用得到的检查点收集监督微调SFT数据用于下一轮训练。与最初的冷启动数据主要关注推理不同这一阶段将涉及其他领域的数据以增强模型在写作、角色扮演和其他通用任务中的能力。具体而言生成数据并按如下所述对模型进行微调。
推理数据
整理推理提示并通过从上述强化学习训练的检查点执行拒绝采样来生成推理轨迹。在前一个阶段仅包含了可以通过基于规则的奖励进行评估的数据。然而在这一阶段DS团队通过加入额外的数据来扩展数据集其中一些数据使用生成奖励模型通过将真实标签和模型预测输入DeepSeek-V3进行判断。此外由于模型输出有时混乱且难以阅读过滤掉了含有混合语言、长段落和代码块的推理链。对于每个提示采样多个响应并只保留正确的响应。最终收集了约60万个与推理相关的训练样本。
非推理数据
对于非推理数据如写作、事实问答、自我认知和翻译采用DeepSeek-V3流程并重复使用部分DeepSeek-V3的SFT数据集。对于某些非推理任务通过提示调用DeepSeek-V3生成潜在的推理链以便在回答问题前使用。然而对于更简单的查询例如“你好”不会提供推理链作为回应。最终收集了大约20万个与推理无关的训练样本。
DS团队使用上述整理好的大约80万个样本数据集对DeepSeek-V3-Base进行两轮微调。 2.3.4 面向所有场景的强化学习
为了进一步使模型与人类偏好对齐实施了一个二次强化学习阶段旨在提高模型的有用性和无害性同时精炼其推理能力。具体而言使用奖励信号和多样化的提示分布来训练模型。对于推理数据遵循DeepSeek-R1-Zero中概述的方法利用基于规则的奖励来引导数学、代码和逻辑推理领域的学习过程。对于一般数据依赖奖励模型来捕捉人类偏好以应对复杂和微妙的场景。在DeepSeek-V3流程的基础上采用类似的偏好对分布和训练提示。在有用性方面专注于最终的总结确保评估重点强调响应对用户的实用性和相关性同时尽量减少对基础推理过程的干扰。在无害性方面评估模型的整个响应包括推理过程和总结以识别并减少生成过程中可能出现的任何潜在风险、偏见或有害内容。最终奖励信号和多样化数据分布的整合使DS团队能够训练一个既在推理上表现优异又优先考虑有用性和无害性的模型。 2.4 蒸馏将推理能力赋予小型模型
为了使更高效的小型模型具备类似于DeepSeek-R1的推理能力DS团队直接对开源模型如Qwen和Llama进行了微调使用了与DeepSeek-R1策划的80万样本研究结果表明这种简单的蒸馏方法显著增强了小型模型的推理能力。这里使用的基础模型包括Qwen2.5-Math-1.5B、Qwen2.5-Math-7B、Qwen2.5-14B、Qwen2.5-32B、Llama-3.1-8B和Llama-3.3-70B-Instruct。选择Llama-3.3因为它的推理能力略优于Llama-3.1。
对于蒸馏模型仅应用SFT而不包括RL阶段尽管结合RL可能会显著提升模型性能。但在这里的主要目标是展示蒸馏技术的有效性将RL阶段的探索留给更广泛的研究社区。 三、实验
数据收集收集数千条冷启动数据用于初始微调。这些数据通过少样本提示、直接提示生成详细答案、人工后处理等方式生成。
实验设置在多个基准测试上进行评估包括 MMLU、MMLU-Redux、MMLU-Pro、C-Eval、CMMLU、IFEval、FRAMES、GPQA Diamond、SimpleQA、C-SimpleQA、SWE-Bench Verified、Aider 1、LiveCodeBench、Codeforces、Chinese National High School Mathematics Olympiad (CNMO)、American Invitational Mathematics Examination 2024 (AIME)等。
参数配置所有模型的最大生成长度设置为32,768个token。对于需要采样的基准测试使用温度0.6top-p值0.95每个查询生成64个响应。 3.1 DeepSeek-R1模型评估 3.2 DeepSeek-R1蒸馏模型评估 四、讨论
4.1 蒸馏与强化学习 论文得出两个结果首先将更强大的模型蒸馏到较小的模型中可以获得优秀的结果而依赖于大规模强化学习的小模型则需要巨大的计算能力甚至可能无法达到蒸馏的性能。其次尽管知识蒸馏策略既经济又有效但推进超越智能的边界可能仍需要更强大的基础模型和更大规模的强化学习。 4.2 不成功的尝试
在开发DeepSeek-R1的早期阶段DS团队也遇到了失败和挫折。以下是他们分享的失败经验用以提供见解但这并不意味着这些方法无法开发出有效的推理模型。
过程奖励模型(PRM)PRM是一种合理的方法可以引导模型朝着更好的解决推理任务的方法前进。然而在实践中PRM有三个主要限制可能会阻碍其最终成功。首先很难明确地定义一般推理中的细粒度步骤。其次确定当前中间步骤是否正确是一项具有挑战性的任务。使用用模型进行自动标注可能无法产生令人满意的结果而手动标注则不利于规模化。第三一旦引入基于模型的PRM必然会导致奖励黑客行为并且重新训练奖励模型需需要额外的训练资源这使整个训练流程变得复杂。总之尽管PRM在重新排序模型生成的前N个响应或辅助引导搜索方面表现出良好的能力但与其在实验中引入的大规模强化学习过程所带来的额外计算开销相比其优势是有限的。
蒙特卡罗树搜索(MCTS)受到AlphaGo和AlphaZero的启发DS团队探索了使用蒙特卡罗树搜索(MCTS)来增强测试时的计算可扩展性。这种方
法涉及将答案分解为更小的部分以便模型能够系统地探索触决方案空间。为此提示模型生成多个标签这些标签对应于搜索所需的特定推理步骤。在训练过程中首先使用收集到的提示通过MCTS找到答案MCTS由预训练的价值模型指导。随后使用生成的问题-答案对来训练演员模型和价值模型迭代地完善这一过过程。
然而这种方法在扩大训练规模时遇到了几个挑战。首先与国际象棋相比后者的搜索空间相对明确而令牌生成则呈现出指数级更大的搜索空间。为了解决这个问题我们为每个节点设置了最大扩展限制但这可能导致模型陷入局部最优解。其次价值模型直接影响生成的质量因为它指导搜索过程的每一步。训练一个细粒度的价值模型本质上是困难的这使得模型难以进行选代改进。虽然AlphaGo的核心成功依赖于训练一个价值模型以逐步提升其性能但由于令牌生成的复杂性这一原则在设置中难以复制。
总之尽管MCTS在与预训练价值模型配对时可以提高推理性能但通过自我搜索迭代提升模型性能仍然是一个重大挑战。 五、结论、局限性与未来工作 通用能力目前DeepSeek-R1在函数调用、多轮对话、复杂角色扮演和json输出等任务上的能力不及深度寻求-V3。继续探索如何利用长链推理来增强这些领域的任务。
语言混合DeepSeek-R1目前针对中文和英文进行了优化这可能导致在处理其他语言查询时出现语言混合问题。例如DeepSeek-R1可能会在推理和回应时使用英语即使查询是用其他语言而非英语或中文提出的。旨在未来的更新中解决这一限制。
提示工程在评估DeepSeek-R1时观察到它对提示非常敏感。少量示例提示会持续降低其性能。因此建议用户直接描述问题并在zero-shot设置中指定输出格式以获得最佳结果。
软件工程任务由于评估时间较长影响了强化学习过程的效率因此大规模强化学习在软件工程任务中尚未得到广泛应用。因此DeepSeek-R1在软件工程基准测试中并未表现出相较于DeepSeek-V3的显著改进。未来的版本将通过在软件工程数据上实施拒绝采样或在强化学习过程中引入异步评估来解决这一问题以提高效率。
