app 网站 比较,jsp网站开发技术难点,网页设计培训班哪里好,wordpress2014一、引言
最近非常火爆的DeepSeek-V3模型#xff0c;是一个包含6710亿总参数的强大混合专家模型#xff08;MoE#xff09;#xff0c;该模型在DeepSeek-V2验证有效的核心架构基础上#xff0c;采用多头潜在注意力#xff08;MLA#xff09;机制和DeepSeekMoE架构…一、引言
最近非常火爆的DeepSeek-V3模型是一个包含6710亿总参数的强大混合专家模型MoE该模型在DeepSeek-V2验证有效的核心架构基础上采用多头潜在注意力MLA机制和DeepSeekMoE架构显著提升推理效率并降低训练成本。DeepSeek-V3创新性地引入无辅助损失的负载均衡策略并采用多标记预测训练目标以增强模型性能。 DeepSeek-V3 采用的混合专家模型MoE 作为突破传统密集模型瓶颈的核心架构通过专家拆分、无辅助损失负载均衡等技术创新使国产大模型首次在参数效率、训练稳定性等维度超越国际竞品。 本文将采用图解的方式详细介绍一下混合专家模型MoE 的技术原理。 二、什么是混合专家MoE模型
混合专家Mixture of Experts简称 MoE模型是一种利用多个不同的子模型或“专家”来提升大语言模型LLM质量的技术。
MoE模型的主要组成部分包括 专家Experts 模型中的每个专家都是一个独立的神经网络专门处理输入数据的特定子集或特定任务。例如在自然语言处理任务中一个专家可能专注于处理与语言语法相关的内容而另一个专家可能专注于语义理解。
路由或者门控网络Gating Network 门控网络的作用是决定每个输入样本应该由哪个专家或哪些专家来处理。它根据输入样本的特征计算出每个专家的权重或重要性然后根据这些权重将输入样本分配给相应的专家。门控网络通常是一个简单的神经网络其输出经过softmax激活函数处理以确保所有专家的权重之和为1。 “专家”并不是专门针对某个领域如“心理学”或“生物学”。它只是语法层面的专家具体来说它们的专长是在特定的上下文中处理特定的标记。 路由器门控网络来选择最适合给定输入的专家们 每个专家并不是一个完整的 LLM而是 LLM 架构中的子模型部分。 三、发展历程 早期探索理论奠基与原型构建 混合专家模型MoE的起源可追溯至1991年Michael Jordan与Geoffrey Hinton的开创性研究。在论文《Adaptive Mixture of Local Experts》中他们首次提出通过多个独立网络专家协同处理数据子集并引入门控网络动态分配任务。这一架构突破性地解决了传统神经网络中不同任务间的干扰问题为后续研究奠定基础。早期MoE模型虽受限于算力和数据规模但已展现出任务分治思想的潜力——通过专家网络专业化分工门控网络竞争性选择最优处理路径显著提升了模型学习效率。 关键突破稀疏计算与动态激活 2017年成为MoE发展的分水岭。谷歌团队在《Sparsely-Gated Mixture-of-Experts》中提出两项革命性创新 其一将稀疏门控机制引入LSTM网络仅激活2-4个专家处理每个token使模型参数量突破千亿级时仍保持高效推理 其二采用token级路由策略实现细粒度计算资源分配。 这两项突破使MoE在自然语言处理领域大放异彩Google的GShard项目更将MoE成功整合至Transformer架构为后续大模型时代铺平道路。 当代演进架构革新与国产突破 GPT-4的发布标志着MoE进入工业化应用阶段。其采用8个220B参数的专家模块通过动态路由实现万亿级参数规模下的高效推理。这种模型堆叠策略突破单一模型扩展瓶颈使推理成本降低至传统密集模型的1/8。
而国产DeepSeekMoE进一步加速了MoE领域的技术创新。该架构通过三大技术创新实现跨越式发展 首创无辅助损失的负载均衡策略消除传统路由算法对平衡性约束的依赖 采用多token预测训练目标提升专家协作效率 参数效率达到国际领先水平,6B模型以40%计算量实现LLaMA2 7B性能145B版本更以28.5%资源匹配67B密集模型表现。
DeepSeekMoE的成功实践证明通过专家专业化分工与智能路由机制的深度结合MoE正在重塑大模型的技术范式为通用人工智能时代的到来提供关键基础设施。 四、架构设计
4.1 专家架构
密集层 Dense Layer 为了探讨专家MoE中的E的代表意义和它们的工作方式我们首先需要了解 MoE 原本要替代的密集层。 混合专家MoE起始于 LLM 相对基础的功能即前馈神经网络FFNN。 密集层Dense Layer是前馈神经网络FFNN中的全连接层每个神经元通过权重矩阵与前一层的所有输出相连利用激活函数实现特征的非线性组合用于学习输入数据的高阶抽象表示。 传统 Transformer 中的前馈神经网络FFNN被称为密集模型因为所有参数权重和偏置都会被激活。没有任何参数被遗漏所有参数都参与输出计算。 如果我们更仔细地观察这种密集模型可以发现输入会在某种程度上激活所有参数 稀疏层 (Sparse Layers) 与此相对稀疏模型仅激活一部分参数并且与混合专家MoE紧密相关。 可以将密集模型切割成多个部分所谓的专家重新训练它并且在给定时间内只激活一组专家 其底层思想是每个专家在训练过程中学习不同的信息。然后在进行推理时仅使用与给定任务最相关的特定专家。 专家的架构 将专家视为密集模型中的隐藏层并将其切分成块它们通常本身就是完整的前馈神经网络FFNN 由于大多数 LLM 具有多个解码器块因此给定文本将在多个专家之间传递直到文本生成 所选的专家很可能在标记之间有所不同这就导致了不同的“路径”被选择 如果我们更新解码器块的可视化它现在会包含更多的 FFNN每个专家一个 解码器块现在有多个 FFNN每个都是一个“专家”可以在推理时使用。
4.2 路由机制
现在我们有了一组专家那么模型是如何知道应该使用哪些专家的呢
在专家之前添加了一个路由器也叫网关网络它经过训练来选择哪个专家适合给定的标记。
路由器 路由器或门控网络也是一种前馈神经网络FFNN它根据特定的输入来选择专家。它输出概率并利用这些概率来选择最匹配的专家 专家层返回所选专家的输出并乘以门值选择概率。 路由器与专家其中只有少数几个被选中一起构成了 MoE 层 给定的 MoE 层有两种大小分别是稀疏的混合专家或密集的混合专家模型。 这两者都使用路由器来选择专家但稀疏 MoE 只选择几个而密集 MoE 则选择所有专家但可能以不同的分布进行选择。
给定一组标记密集MoE 会将标记分配给所有专家而稀疏 MoE 只选择少数专家。
专家的选择 门控网络可以说是任何 MoE 模型中最重要的组成部分因为它不仅决定了在推理过程中选择哪些专家还决定了在训练过程中选择哪些专家。 在最基本的形式中我们将输入x与路由器权重矩阵W相乘 然后我们对输出应用 SoftMax 操作为每个专家创建概率分布 G(x) 路由器使用这种概率分布来选择与给定输入最匹配的专家。 最后我们将每个路由器的输出与每个选定的专家相乘并对结果进行求和。 4.3 混合专家模型流程图
下图显示了输入是如何通过路由器和专家进行流动的。 五、技术优势详解
5.1 计算效率条件计算带来的FLOPs优化
混合专家模型MoE通过稀疏激活机制实现计算效率质的飞跃。每个token仅激活2-4个专家总专家量可达数千避免传统密集模型的全参数计算。例如DeepSeekMoE 16B模型激活参数仅6.5B却以40%计算量达到LLaMA2 7B的性能。这种效率源于 动态路由门控网络实时筛选相关性最高的专家 简单的函数常常导致路由器会选择相同的专家因为某些专家可能比其他专家学习得更快 选择的专家分布不均会导致一些专家几乎不会被训练到这导致在训练和推理过程中都会出现问题。 因此希望在训练和推理过程中专家之间具有相等的重要性这就是我们所说的负载均衡。从某种意义上说这是为了防止对同一专家的过拟合。 负责均衡KeepTopK 为了平衡专家的重要性我们需要关注路由器因为它是决定在特定时刻选择哪些专家的主要组成部分。 负载均衡路由器的一种方法是通过一个简单的扩展叫做 KeepTopK。通过引入可训练的高斯噪声我们可以防止总是选择相同的专家 然后除了你想激活的前 k 个专家例如 2 个之外其余专家的权重将被设置为 -∞ 通过将这些权重设置为 -∞这些权重上的 SoftMax 输出将导致概率为 0 辅助损失 为了在训练期间获得更均匀的专家分布辅助损失也称为负载均衡损失被添加到网络的常规损失中。 这个辅助损失的第一个组成部分是对整个批次中每个专家的路由器值进行求和 这给出了每位专家的重要性分数表示无论如何输入某位专家被选择的可能性。 我们可以使用这个来计算变异系数CV它告诉我们不同专家之间的重要性分数差异有多大。
使用这个 CV 分数我们可以在训练过程中更新辅助损失目的是尽可能降低 CV 分数从而给每个专家相等的重要性
5.2 扩展能力模型容量与计算成本的解耦
MoE架构突破参数规模与计算资源的线性关系。DeepSeekMoE 145B模型通过专家拆分策略在保持计算成本28.5%的情况下性能超越Google GShard。关键技术包括
专家并行将专家分布在不同计算节点 不平衡不仅存在于被选择的专家中也存在于分配给专家的 token 分布中。 例如如果输入 token 不成比例地分配给某个专家而忽视了其他专家那么也可能导致训练不足 这里的问题不仅是哪些专家被使用而是它们被使用的频率。 解决这个问题的一种方法是限制每个专家可以处理的 token 数量即专家容量。当一个专家的容量达到上限时剩余的 token 会被发送到下一个专家 如果两个专家的容量都已满那么 token 将不会被任何专家处理而是被发送到下一层这就是 token 溢出。 容量因子调节动态调整专家处理token上限Token 选择 KeepTopK 策略是将每个 token 路由发送到少数几个选定的专家。这种方法称为 Token Choice允许将给定的 token 发送到一个专家top-1 路由 或发送到多个专家top-k 路由 六、训练优化技术解析
1. 联合训练策略
专家-路由器协同优化采用双路径反向传播 DeepSeek创新的多token预测目标
同时预测当前token及后续n个token迫使专家学习长程依赖关系训练效率提升30%相同epoch数下困惑度降低18%
6.2 分布式训练实践
专家并行架构实现超大规模训练 #mermaid-svg-VPzYmu5QahO9evJY {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-VPzYmu5QahO9evJY .error-icon{fill:#552222;}#mermaid-svg-VPzYmu5QahO9evJY .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-VPzYmu5QahO9evJY .edge-thickness-normal{stroke-width:2px;}#mermaid-svg-VPzYmu5QahO9evJY .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-VPzYmu5QahO9evJY .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-VPzYmu5QahO9evJY .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-VPzYmu5QahO9evJY .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-VPzYmu5QahO9evJY .marker{fill:#333333;stroke:#333333;}#mermaid-svg-VPzYmu5QahO9evJY .marker.cross{stroke:#333333;}#mermaid-svg-VPzYmu5QahO9evJY svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-VPzYmu5QahO9evJY .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-VPzYmu5QahO9evJY .cluster-label text{fill:#333;}#mermaid-svg-VPzYmu5QahO9evJY .cluster-label span{color:#333;}#mermaid-svg-VPzYmu5QahO9evJY .label text,#mermaid-svg-VPzYmu5QahO9evJY span{fill:#333;color:#333;}#mermaid-svg-VPzYmu5QahO9evJY .node rect,#mermaid-svg-VPzYmu5QahO9evJY .node circle,#mermaid-svg-VPzYmu5QahO9evJY .node ellipse,#mermaid-svg-VPzYmu5QahO9evJY .node polygon,#mermaid-svg-VPzYmu5QahO9evJY .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-VPzYmu5QahO9evJY .node .label{text-align:center;}#mermaid-svg-VPzYmu5QahO9evJY .node.clickable{cursor:pointer;}#mermaid-svg-VPzYmu5QahO9evJY .arrowheadPath{fill:#333333;}#mermaid-svg-VPzYmu5QahO9evJY .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-VPzYmu5QahO9evJY .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-VPzYmu5QahO9evJY .edgeLabel{background-color:#e8e8e8;text-align:center;}#mermaid-svg-VPzYmu5QahO9evJY .edgeLabel rect{opacity:0.5;background-color:#e8e8e8;fill:#e8e8e8;}#mermaid-svg-VPzYmu5QahO9evJY .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-VPzYmu5QahO9evJY .cluster text{fill:#333;}#mermaid-svg-VPzYmu5QahO9evJY .cluster span{color:#333;}#mermaid-svg-VPzYmu5QahO9evJY div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-VPzYmu5QahO9evJY :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} 输入数据 Split into Shards GPU1: Expert A GPU2: Expert B GPU3: Expert C Gather Outputs Final Output DeepSeek关键参数
通信压缩采用1-bit梯度量化通信量减少83%流水线并行重叠计算与通信GPU利用率达92%检查点策略每30分钟自动保存恢复训练仅需2分钟
资源消耗
145B模型全量训练消耗278.8万H800 GPU小时同等规模密集模型需920万GPU小时成本降低67% 七、技术突破总结
MoE架构通过计算稀疏化与参数专业化的双重革新正在重塑大模型技术路线。DeepSeek系列实践证明国产模型在专家拆分策略如将单个专家拆分为两个子专家而不增加参数量、动态路由算法等领域已形成独特技术优势。未来随着万亿级MoE模型的出现这种架构将成为突破算力瓶颈的核心解决方案。
【参考文献】 [1] Grootendorst M. Hands-On Large Language Models[M]. O’Reilly, 2023. [2] DeepSeek Team. DeepSeekMoE Technical Report[R]. 2024.
本文参考了 Maarten Grootendorst的文章其是“袋鼠书”Hands-On Large Language Models 的作者你可以在《袋鼠书》中查看更多关于大语言模型可视化的内容。 英文版封面中文版封面 《图解大模型》 Jay AlammarMaarten Grootendorst | 著 李博杰 | 译 美亚 4.7 星评畅销书 Hands-on 系列新作。只要具备 Python 基础就可以通过本书学习大语言模型并将大语言模型的能力应用到真正的 AI 实践中。
本书将为 Python 开发人员提供使用大模型的实用工具和概念帮助大家掌握实际应用场景。你将学习如何利用预训练的大型语言模型进行文案撰写、文本摘要、语义搜索等任务构建超越关键词匹配的智能系统。
