网页预览手机网站效果,秦皇岛最新封闭通知,只做网站哪个云服务器好,ajax网站开发技术文章目录 一、DeepSeek概要二、4个重要改进点2.1 多头潜在注意力2.2 混合专家模型MoE2.3 多Token预测3.4 GRPO强化学习策略 三、2个重要思考3.1 大规模强化学习3.2 蒸馏方法#xff1a;小模型也可以很强大 一、DeepSeek概要
2024年#xff5e;2025年初#xff0c;DeepSeek … 文章目录 一、DeepSeek概要二、4个重要改进点2.1 多头潜在注意力2.2 混合专家模型MoE2.3 多Token预测3.4 GRPO强化学习策略 三、2个重要思考3.1 大规模强化学习3.2 蒸馏方法小模型也可以很强大 一、DeepSeek概要
2024年2025年初DeepSeek 相继推出了其推理大模型系列DeepSeek-V2、DeepSeek-V3、DeepSeek-R1-Zero 和 DeepSeek-R1。由于其卓越的性能以及超高的性价比让DeepSeek在2025年初迅速风靡全球被外媒称为“来自东方神秘的力量”。 二、4个重要改进点
2.1 多头潜在注意力
核心思想通过低秩压缩技术将Key和Value映射到一个低维的潜在空间从而减少KV缓存的大小显著提高了推理效率。
具体步骤优化注意力机制模块
低秩压缩将输入的隐藏状态通过一个下投影矩阵映射到低维的潜在空间生成压缩后的潜在向量。生成Key和Value从潜在向量中通过上投影矩阵恢复出Key和Value。应用RoPE在生成的Key上应用旋转位置编码RoPE以保留位置信息。计算注意力将压缩后的Key和Value与查询Query结合通过标准的注意力公式计算注意力输出。输出将注意力输出通过一个输出投影矩阵映射回原始维度。
2.2 混合专家模型MoE
核心思想是一种基于混合专家MoE架构的前馈网络FFN其核心思想是让不同的Token由不同的“专家”处理大幅提升计算效率。它结合了负载均衡策略旨在减少因负载均衡而导致的模型性能下降同时保持高效的计算资源利用。
具体结构
共享专家模型中包含一定数量的共享专家这些专家对所有token开放适用于通用任务。路由专家每个token根据其输入动态选择一定数量的路由专家进行计算专门处理某些类别的信息。Router即路由类似于门控其决定哪些专家参与计算每个token激活的路由专家数量由超参数控制确保计算效率和负载均衡。
2.3 多Token预测
核心思想扩展了传统的单Token预测任务允许模型在每个位置预测多个未来的Token。这一方法提高了模型推理过程中的预测效率同时也增强了模型对未来Token的预测能力。
具体步骤
模块化设计MTP通过多个模块实现每个模块负责预测一个额外的Token。这些模块共享嵌入层和输出头但各自包含一个Transformer块和一个投影矩阵。因果链保持在每个预测深度MTP模块保持完整的因果链确保预测的Token不会影响之前的预测。训练目标对于每个预测深度MTP计算一个交叉熵损失并将这些损失平均后乘以一个权重因子作为整体的MTP损失。推理优化在推理阶段MTP模块可以被丢弃主模型可以独立运行或者MTP模块可以用于推测解码以加速生成。 3.4 GRPO强化学习策略
核心思想通过组内相对奖励来优化策略模型而不是依赖传统的批评模型critic model。具体来说GRPO 会在每个状态下采样一组动作然后根据这些动作的相对表现来调整策略而不是依赖一个单独的价值网络来估计每个动作的价值。
具体步骤
采样动作组对于每个输入提示模型根据当前策略生成一组不同的输出。这些输出的多样性为后续的相对奖励计算提供了基础。奖励评估使用奖励模型对每个输出进行评分这些评分可以基于任务的特定标准如数学题的正确性、代码的可运行性等。核心点在于使用的奖励模型是一个基于规则的奖励系统准确性奖励格式奖励而不是一个预训练的深度学习模型。显著降低了计算和存储需求提高了训练效率。计算相对优势将每个输出的奖励值进行归一化处理得到相对优势。通过组内相对优势的计算GRPO 减少了策略更新的方差确保了更稳定的学习过程。KL散度最后使用相对优势更新策略GRPO 引入了KL散度约束能够更精细地控制策略更新的幅度保持策略分布的稳定性。
三、2个重要思考
3.1 大规模强化学习
在后训练阶段不一定需要用SFT作为初始步骤通过纯强化学习的方式也能到达不错的推理性能DeepSeek-R1-Zero首次验证了这一路径。
直接在基础模型上应用 RL而不依赖于有监督的微调SFT作为初步步骤。这种方法允许模型探索解决复杂问题的链式思考CoT从而开发出 DeepSeek-R1-Zero。DeepSeek-R1-Zero 展示了自我验证、反思和生成长链式思考的能力这标志着研究社区的一个重要里程碑。值得注意的是这是首次公开研究验证 LLMs 的推理能力可以通过纯 RL 激励而无需 SFT。这一突破为该领域的未来发展铺平了道路。DeepSeek-R1 训练流程该流程包含两个 RL 阶段旨在发现改进的推理模式并与人类偏好对齐以及两个 SFT 阶段作为模型推理和非推理能力的种子。我们相信这一流程将有助于行业开发更好的模型。
3.2 蒸馏方法小模型也可以很强大
大型模型的推理模式可以被蒸馏到小模型中其表现优于通过在小模型上应用 RL 的效果。
证明了大型模型的推理模式可以被蒸馏到小模型中其表现优于通过在小模型上应用 RL 发现的推理模式。开源的 DeepSeek-R1 及其 API 将有助于研究社区在未来蒸馏出更好的小模型。使用 DeepSeek-R1 生成的推理数据我们微调了研究社区广泛使用的几种密集模型。评估结果表明蒸馏后的小型密集模型在基准测试中表现出色。例如DeepSeek-R1-Distill-Qwen-7B 在 AIME 2024 上达到了 55.5%超过了 QwQ-32B-Preview。此外DeepSeek-R1-Distill-Qwen-32B 在 AIME 2024 上达到了 72.6%在 MATH-500 上达到了 94.3%在 LiveCodeBench 上达到了 57.2%。这些结果显著优于之前的开源模型并且与 o1-mini 相当。我们开源了基于 Qwen2.5 和 Llama3 系列的 1.5B、7B、8B、14B、32B 和 70B 检查点供社区使用。
