个人购物网站备案,给个网站你们知道的,万能浏览器安卓版下载,wordpress插件使用方法几乎每一个行业都在讨论大模型#xff0c;每一个行业巨头都在训练大模型#xff0c;人工智能已然进入了大模型主导的时代。
想要占领大模型应用的高地#xff0c;数据和算力可以说是不可或缺的基石。和算力相关的讨论已经有很多#xff0c;以至于英伟达的市值在2023年翻了…几乎每一个行业都在讨论大模型每一个行业巨头都在训练大模型人工智能已然进入了大模型主导的时代。
想要占领大模型应用的高地数据和算力可以说是不可或缺的基石。和算力相关的讨论已经有很多以至于英伟达的市值在2023年翻了两番。同样不应小觑的还有数据除了数据量的爆炸性增长数据的读取、写入、传输等基础性能开始遇到越来越多的新挑战。
01 “榨干”算力必须迈过的一道坎 在许多人的认知里训练大模型是一门烧钱的生意。坊间传闻GPT-4的训练成本高达10亿美元想要让大模型释放出应有的“魔法”“涌现”出对答如流的能力需要一只“独角兽”的前期投入。
再具体一些的话大模型训练的成本构成中硬件投资包括算力、运力、存力其中算力相关硬件投资占比80%。毕竟一颗80GB的A100芯片在国外的定价就高达1.5万美元左右一个千亿级参数的大模型往往需要上万颗A100的算力。可在现实的训练过程中GPU的平均利用率却不足50%制约因素包括大模型参数需要频繁调优、训练中断后恢复周期长、数据加载速度慢等等。
不客气的说算力资源闲置的每一分钟都是在燃烧经费倘若可以进一步提高算力资源的利用率等于间接降低了大模型的训练成本。要提到算力利用率必须要迈过的一道坎就是数据读写性能的挑战。
大模型在训练过程中需要先读取一块数据在数据读取完成后进行训练训练过程中会读取下一块数据。如果训练结束时下一块数据没有读取完成就会造成一定的等待时间。再加上网络波动、算力故障导致的训练中断即Checkpoint时刻重启训练会退回到前一个节点同样会产生算力空置的等待时间。
不那么乐观的是目前的训练数据通常以图片、文档等小文件的形式存在意味着在训练过程中需要频繁地读取和写入数据并且需要支持快速地随机访问。何况大模型训练的原始数据集动辄几十个TB当前文件系统的小文件加载速度不足100MB/s无形中限制了整个系统的运转效率。
根据第一性原理大模型训练时算力利用率低的诱因是海量的小文件传统存储系统无法高效地处理这些数据导致加载速度缓慢。大模型训练的效率要达到极致减少不必要的浪费必须在数据上下功夫准确地说必须要在数据存储性能上进行创新。
而华为在高性能NAS存储上深耕多年其OceanStor Dorado全闪存NAS拥有业界领先性能尤其在海量小文件场景性能做到了领先业界30%。
在openEuler开发者大会2023上华为还携手openEuler发布了NFS协议矛头直指客户端访问OceanStor Dorado NAS的性能试图通过引入外置高性能并行文件存储系统缩短大模型训练中的等待时间尽可能把算力的价值“榨”出来。
02 华为NFS协议带来的“屠龙术” 揭开华为NFS协议的“面纱”前似乎有必要回顾下NFS协议的历史。作为Sun公司在1984年开发的分布式文件系统协议NFS已经存在了近40年广泛应用于金融、EDA仿真、话单、票据影像等行业。
只是在时间的推移下“老将”NFS逐渐暴露出了一些短板。比如传统NFS单个挂载点仅指定一个服务端IP地址在网口故障或者链路故障场景下可能出现挂载点无法访问的情况一端故障时IP无法感知时仅依靠应用层手动挂载文件系统双活链路无法自动切换单个挂载点性能受限于单个物理链路性能重要业务存在性能瓶颈。
大约在两年前华为开始了NFS协议的研发着力解决传统NFS的不足最终交出了一份“高可靠高可用”的答卷
一是可靠性。打个比方的话传统NFS的客户端和服务端之间仅有一条路NFS协议允许单个NFS挂载点使用多个IP进行访问等于在客户端和服务端之间修了多条路巧妙解决了传统NFS被诟病的“可靠性”问题。
二是多链路聚合。客户端和服务端之间仅有一条路时一旦出现事故就会导致交通拥堵而NFS协议在选路算法的加持下实现了单个挂载点在多条链路上均衡下发IO确保服务端和客户端的数据传输畅通无阻。
三是缓存加速。大模型训练时需要将元数据缓存到计算节点。传统NFS相对保守缓存过期的时间比较短。而NFS协议改善了缓存大小和失效机制可以让元数据更多、更长时间保存在主机侧以满足大模型训练的高时延需求。
四是数据视图同步。正如前面所提到的大模型训练需要快速的随机访问NFS协议采用了数据视图同步的方式大模型训练需要读取某个节点的数据时直接与对应节点高效地放置和访问数据找到最优的访问链路。
做一个总结的话NFS协议采用了高性能并行文件存储系统的设计针对海量小文件场景进行了特殊优化比如多链路聚合、缓存加速、数据视图同步等均在提升海量小文件的读写性能最终在大模型训练过程中实现“读写快、少等待”减少算力的空置时间。
一组Client测试数据印证了NFS协议的路线正确相较于传统的文件存储训练样本小IO随机读性能提升了4倍以上CheckPoint大文件切片多路径传输提升了4-6倍的带宽能力足以满足大模型训练的苛刻要求。
03 数据存储进入到“大模型时代” 某种程度上说大模型训练催生的数据存储性能要求不过是文件存储系统加速演变的一个侧面。
直到今天文件存储的需求仍在不断更新文件系统的创新也在持续发生就像大模型训练需求所折射出的演进方向。
要知道英伟达的一个训练节点每秒就可以处理2万张图片每个节点需要8万IOPS大模型典型配置有是千亿参数千卡单位时间内对海量小文件的读写频率要求极高。
这恐怕也是华为和openEuler联合发布NFS协议的原因市场对于文件系统的创新需求骤然加快势必会引发头部科技企业围绕数据存储的“军备竞赛”华为无疑是这场竞赛中冲在最前面的玩家之一。
但对文件存储系统的市场格局稍作了解的话华为自研NFS协议还隐藏着另一重深意。
一方面Lustre、GFPS、BeeGFS等并行系统的MDS方案将元数据和文件数据访问分开仍存在性能和可靠性的瓶颈而NFS协议的元数据不再聚焦于某个性能节点而是分配到集群的所有节点里面可以在主机侧实现多连接消除了大模型语境下高频处理小文件的底层瓶颈。
另一方面站在大多数用户的角度上NFS协议可以更好的兼容已有的使用习惯原先建立在传统NFS上的运维机制和知识体系不作废文件系统的切换过程更平缓不用修改操作系统数据面即可让NAS存储访问性能提升6倍、可靠性提升3倍以极低的成本拥抱大模型训推浪潮。
无可否认的是大模型正在从前台的“火热”转向整个产业链条的协同驱动数据存储正是其中的关键一环。
在这样的趋势下行业注意力将从“炼模”一步步转向更高效、更快速的“炼模”海量小文件的采集和加载性能、算力资源的利用率等指标将被越来越多的企业所关注势必会掀起一场化繁为简的文件存储革命。
