高淳城乡建设局网站,金融棋牌网站建设,51制作工厂网站,网站存在原理很有可能在某个时候#xff0c;您需要将模型训练工作扩展到超过一个GPU。在上一个视频中#xff0c;我强调了当您的模型变得太大而无法适应单个GPU时#xff0c;您需要使用多GPU计算策略。但即使您的模型确实适合单个GPU#xff0c;使用多个GPU加速训练也有好处。即使您正在…很有可能在某个时候您需要将模型训练工作扩展到超过一个GPU。在上一个视频中我强调了当您的模型变得太大而无法适应单个GPU时您需要使用多GPU计算策略。但即使您的模型确实适合单个GPU使用多个GPU加速训练也有好处。即使您正在使用小型模型了解如何跨GPU分配计算也会很有用。让我们讨论如何有效地跨多个GPU进行这种扩展。
您将从考虑模型仍然适合单个GPU的情况开始。扩展模型训练的第一步是将大型数据集分布到多个GPU并并行处理这些数据批次。这种模型复制技术的一个流行实现是PyTorch的Distributed Data Paraller分布式数据并行或简称DDP。DDP将您的模型复制到每个GPU并将数据批次并行发送到每个GPU。每个数据集并行处理然后一个同步步骤组合每个GPU的结果从而更新每个GPU上的模型这在芯片之间始终是相同的。这种实现允许跨所有GPU进行并行计算从而加快训练速度。请注意DDP要求您的模型权重和所有其他训练所需的参数、梯度和优化器状态都适合单个GPU。
如果您的模型对此过大您应该考虑另一种称为模型分片Model Sharded的技术。模型分片的一个流行实现是PyTorch的Fully Sharded Data Parallel完全分片数据并行或简称FSDP。FSDP的动机是2019年由Microsoft研究人员发表的一篇论文该论文提出了一种称为ZeRO的技术。ZeRO代表零冗余优化器ZeRO的目标是通过分布或分片模型状态跨GPU与ZeRO数据重叠来优化内存。这允许您在模型不适合单个芯片的内存时跨GPU缩放模型训练。
在回到FSDP之前让我们快速看看ZeRO是如何工作的。
本周早些时候您查看了训练LLM所需的所有内存组件最大的内存需求是优化器状态它占用的空间是权重的两倍然后是权重本身和梯度。
让我们将参数表示为这个蓝色框梯度为黄色优化器状态为绿色。
我之前展示的模型复制策略的一个限制是您需要在每个GPU上保留一个完整的模型副本这导致了冗余的内存消耗。您在每个GPU上存储相同的数字。
另一方面ZeRO通过分布也称为分片模型参数、梯度和优化器状态跨GPU而不是复制它们从而消除了这种冗余。与此同时沉没模型状态的通信开销接近之前讨论的Distributed Data Paraller (DDP)。
ZeRO提供了三个优化阶段。ZeRO阶段1仅跨GPU分片Optimizer States优化器状态这可以将您的内存占用减少到四分之一。
ZeRO阶段2还将Gradient梯度分片到芯片上。与阶段1一起应用时这可以将您的内存占用减少到八倍。
最后ZeRO阶段3将所有组件包括模型参数Parameters分片到GPU上。与阶段1和2一起应用时内存减少与GPU数量成线性关系。例如跨64个GPU的分片可以将您的内存减少64倍。
让我们将这个概念应用到GDP的可视化
并用模型参数、梯度和优化器状态的内存表示替换LLM。当您使用FSDP时您将数据分布到多个GPU如您在DDP中看到的那样。
但是使用FSDP您还可以使用ZeRO论文中指定的策略之一将模型参数、梯度和优化状态分布或分片到GPU节点上。使用这种策略您现在可以使用太大而无法适应单个芯片的模型。
与DDP相反其中每个GPU都有本地化处理每批数据所需的所有模型状态FSDP要求您在前向和后向传递之前从所有GPU收集此数据。
每个CPU按需从其他GPU请求数据将分片数据转化为非分片数据以供操作使用。操作后您将非分片的非本地数据释放回其他GPU作为原始分片数据。您还可以选择在后向传递期间为未来的操作保留它。注意这需要更多的GPU RAM这是一个典型的性能与内存权衡决策。
在后向传递后的最后一步FSDP与DDP相同地跨GPU同步梯度。
如FSDP所描述的模型分片
允许您减少整体GPU内存使用。您还可以选择让FSDP将部分训练计算卸载到GPU以进一步减少GPU内存使用。为了管理性能与内存使用之间的权衡您可以使用FSDP的sharding factor分片因子配置分片级别。
分片因子为1基本上删除了分片并复制了与DDP类似的完整模型。
如果您将分片因子设置为可用GPU的最大数量您将打开完整的分片。这节省了最多的内存但增加了GPU之间的通信量。
中间的任何分片因子都启用了超分片。
让我们看看FSDP与DDP在每个GPU的teraflops上的性能如何。这些测试使用最多512个NVIDIA V100 GPU执行每个GPU有80GB的内存。注意一个teraflop对应于每秒一万亿次 1 0 12 10^{12} 1012浮点运算。第一个数字显示了不同大小T5模型的FSDP性能。您可以看到FSDP的不同性能数字完整分片为蓝色超分片为橙色完整复制为绿色。作为参考DDP性能以红色显示。
对于首先有611百万参数和22.8亿参数的25个模型FSDP和DDP的性能相似。现在如果您选择超过22.8亿的模型大小例如25个模型有113亿参数DDP会遇到内存不足的错误。另一方面FSDP可以轻松处理这种大小的模型并在将模型的精度降低到16位时获得更高的teraflops。
第二个数字显示了当增加GPU数量从8-512为11亿T5模型时每个GPU teraflops减少了7%
这里使用了批量大小为16的橙色和批量大小为8的蓝色。随着模型在大小上增长并分布到越来越多的GPU上芯片之间的通信量增加开始影响性能减慢计算。
总之这表明您可以使用FSDP进行小型和大型模型并无缝地跨多个GPU扩展模型训练。
我知道这次讨论非常技术性我想强调的是您不需要记住所有的细节。最重要的是当训练LLM时了解数据、模型参数和训练计算如何跨进程共享。鉴于跨GPU训练模型的费用和技术复杂性一些研究人员一直在探索如何使用较小的模型实现更好的性能。在下一个视频中您将了解有关计算最佳模型的研究。让我们继续看下去。
参考
https://www.coursera.org/learn/generative-ai-with-llms/lecture/e8hbI/optional-video-efficient-multi-gpu-compute-strategies
