营销类网站 英文,中国互联网协会发起者包括,跨境电商怎么注册,wordpress做淘宝的交流插件首个由万卡集群训练出来的万亿参数大模型#xff0c;已被一家央企解锁。 具体而言#xff0c;为了推动纯国产人工智能的探索#xff0c;带来这条新路径的正是中国电信人工智能研究院#xff08;TeleAI#xff09;。
该研究院由中国电信集团的CTO、首席科学家兼院长李学龙…首个由万卡集群训练出来的万亿参数大模型已被一家央企解锁。 具体而言为了推动纯国产人工智能的探索带来这条新路径的正是中国电信人工智能研究院TeleAI。
该研究院由中国电信集团的CTO、首席科学家兼院长李学龙教授带领的团队完成了这一壮举。根据了解训练过程中使用的万卡集群由天翼云上海临港国产万卡算力池提供基于天翼云自研的“息壤一体化智算服务平台”和电信人工智能公司自研的“星海AI平台”的支持可以实现万亿参数的稳定训练平均每周仅有1.5次训练中断集群训练的稳定性达到了国际领先水平。
此外TeleAI还开源了由国产深度学习框架训练的千亿参数大模型——星辰语义大模型TeleChat2-115B。TeleChat是央企中首个开源的系列语义大模型而TeleChat2-115B则在TeleChat的基础上通过对训练数据量、数据质量、配比和模型架构等多个维度的优化取得了更为显著的效果提升在九月份的C-Eval评测Open Access模型综合榜单中TeleChat2-115B以86.9分的成绩一举夺得了榜单第一 这已经不是TeleAI第一次在权威榜单中高居榜首了。早在今年5月份时其TeleChat系列模型的逻辑推理能力便在OpenCompass测试榜单中取得了开源大模型的第一名。 具体到应用方面星辰语义大模型在长文本写作方面采用了“大纲写作正文写作”的模式更加贴近用户的习惯。
据了解它还采用逐段生成文本的方式这有利于实现超长文章的写作。 即使面对超长会议星辰语义大模型也能够轻松实现实时纪要生成在准确性、完整性、幻觉问题、逻辑性以及规范性等多个方面都能呈现高质量的结果。 对于大型电子报表星辰语义大模型支持报表生成、报表问数、报表摘要以及报表对应报告的风格化仿写等功能能够轻松处理百万行数据 那么万卡万参是如何练成的呢
需要明确的一点是实现万卡万参并非易事尤其是实现全国产化的难度显而易见。首先的难点便是提升万卡集群的性能和稳定性。为了提升训练性能TeleAI采用了多维混合并行的技术可以通过设置不同的并行模式实现数据并行、模型并行和流水线并行的自动混合使用支持万亿模型在万卡集群上的高效分布式训练。在此次训练中还采用了以下关键技术以进一步提升训练性能 多副本并行通过将输入模型的数据按照batch size维度进行切分使得底层在通信时另一副本进行计算操作无需等待从而显著提升模型性能。 通信优化通过通信融合和通信子图提取与复用等技术减少通信耗时提升训练性能。 DryRun仿真无需真正执行计算而是在小集群上分析计算图识别性能瓶颈如算子融合、显存使用和数据流的效率问题提前为万卡集群的运行提供优化配置。 灵活重计算配置结合DryRun的显存使用分析通过计算选重、通信选重、指定选重等多种配置在满足单卡显存限制的情况下找到显存和计算的最优平衡点以实现性能的最大化。
最终国产算力万卡集群的性能超过对应GPU的93%以上。此外为了提升训练的稳定性TeleAI通过上线训练集群断点续训、CCAE集群监控并快速隔离故障节点、多级存储优化等方法达成了集群98%的稳定可用性断点续训成功率超过90%单次断点续训的时长约为15分钟。 其次的挑战在于训练万亿参数的大模型。在进行超大参数模型训练过程中TeleAI通过大量小模型的训练对Scaling Law尺度定律展开探索分析每个模型的噪声空间并构造正激励噪声来强化训练过程中的噪声管理。正激励噪声作为训练超大参数模型的核心技术帮助研究人员确定最优模型结构从而提高模型的整体能力与鲁棒性。
为此TeleAI采用了“四步走”策略 在模型构建方面利用多项技术进行优化。首先在位置编码方面采用Rotary Embedding的编码方法该方法具备出色的位置外推性并能够与attention计算加速技术良好配合从而大幅提升模型的训练速度。 其次在激活函数层面选用SwiGLU激活函数替代GELU激活函数。实验表明SwiGLU相较于其他激活函数拥有更好的模型拟合效果。 在层标准化环节运用基于RMSNorm的Pre-Normalization。实验发现该算法在训练进程中具有更佳的稳定性。 将词嵌入层embedding与输出lm head层参数解耦实验表明这样能够增强训练的稳定性和收敛性。 最后在大参数模型TeleChat2-115B上应用GQA有助于提高模型的训练和推理性能。GQA能大幅降低模型推理过程中的显存使用量显著提升模型的外推长度和推理性能。
在基础训练数据构建方面TeleAI在工程实践中借助多级先导模型展开细致的追随训练以及数据调整实验对数据清洗及数据混合策略的有效性进行了充分评估和验证。
其一在数据清洗方面运用语种识别、数据去重、文本格式规范化、无关内容过滤、低质内容过滤等手段来提升预训练数据的质量。同时建设多模态结构化文档解析工具有效提取公式和表格内容。实验发现经过数据清洗后模型训练损失更低学习速度更快能够节约43%的训练时间。
其二在数据混合方面采用在线领域采样权重调整算法。在先导模型训练过程中根据不同数据集的样本损失分布动态更新采样权重进而获得效果最优的数据混合策略。在模型训练初期还会根据评测指标变化情况持续调整配比方案。实验表明增加中文数据比例、增大数学与题库数据比例有助于提升模型的文本理解和考试能力。
其三在数据合成方面针对数学、代码等特定领域任务梳理细粒度的知识点体系并构建复杂指令让大模型生成知识密度高的合成数据例如试题解析过程、代码功能解释和代码调用关系等。 接下来是SFT模型微调专项优化
在低质量过滤方面运用模型困惑度PPL、指令追随难度IFD以及可学习度Learnability等指标来衡量单条样本的回答难度进而自动筛选并过滤掉文本格式规范性差、答案标注错误的样本。
对于高质量构建将SFT划分为逻辑、认知、理解三个能力维度及二十多个子类。通过预先制定的标准评测集定向筛选出对单项能力指标提升影响最大的高质量数据。
同时提出基于黄金模板构建问答数据的两阶段标注方案从规范性、新颖性、逻辑性、丰富性、完整性等维度总结每类问题的最佳模板再依据模板标注符合要求的最佳答案。
在效果选择上基于模型困惑度指标能够快速评估不同版本的模型在小规模验证集上的拟合程度从而挑选出表现较好的版本以此降低计算成本。
然后是偏好对齐
为最大程度确保指令数据的全面性与均衡性TeleAI分类并收集了涵盖总共300个类别的指令数据集。同时为获取更高质量的指令数据运用聚类和中心选择算法从中挑选出具有代表性的指令。
随后TeleAI将来自不同训练阶段、不同参数大小的TeleChat系列模型的回复按照安全性、事实性、流畅性等多个维度归为高质量、中质量、低质量三个不同标签形成pair-wise数据用于奖励模型的训练。
DPO算法因工程实现简便、易于训练而被广泛应用在TeleChat训练阶段也采用了这一策略。在数据构建阶段TeleAI使用指令数据对当前Chat模型进行10至15次推理采样并利用奖励模型对每个回复进行打分。
TeleAI采用West-of-N的方式构建pair数据即将模型回答的最高分作为chosen response最低分作为rejected response以此确保pair数据具有较强的偏好差别。
在训练阶段除了使用常规的DPO损失函数外TeleAI还通过实验发现引入对chosen response的NLL Loss负对数似然损失能够有效稳定DPO训练的效果防止chosen response的概率降低。
最后便是基于知识图谱降低语义大模型的事实类幻觉 具体而言TeleAI是基于图谱结构化信息表示将知识引入到问题提示中根据与查询n-gram相似度检索候选实体随后以此为基础进行随机游走并计算游走路径与用户原始问题的相关性选择top路径内容扩充至用户原始问题。以上便是TeleAI“炼”万卡万参的关键过程。
不过现在还有一个问题值得探讨
为什么中国电信人工智能研究院能够做到这一点
其实TeleAI在大模型上的布局并非一蹴而就而是经过了长时间的打磨。
首先在态度上给予了高度重视。
除了星辰AI大模型之外在去年11月举行的数字科技生态大会上TeleAI还发布了12个行业大模型并推出了“星辰MaaS生态服务平台”以实现定制化服务。
这一切都是基于中国电信历经十年的AI能力建设。
其次有人才的支撑才会有行业大牛的助力。
为了搭建星辰AI大模型中国电信迅速组建了一支近800人的研发团队。团队成员来自国内外顶尖高校诸如清华、北大、斯坦福和哥伦比亚等平均年龄为31.79岁。
这批优秀人才帮助中国电信在对内对外业务中取代外部算法能力实现核心算法能力的自主可控。
在广泛吸纳基础人才的同时中国电信也拥有一批行业大牛。其中去年年底全职加盟中国电信集团担任CTO和首席科学家的李学龙便是其中之一。
作为AI领域的Fellow大满贯选手李学龙创新性地提出噪声分析是解决大模型等一系列人工智能问题的核心关键他将这一思想引入到万卡万参项目中也将带领中国电信人工智能研究院继续开展基础和前沿研究。
在TeleAI成立之际便围绕“人”、“工”两大要素进行重点打造。
据了解TeleAI现已引入多位海外TOP高校的教授、国内知名企业的CTO或科学家、科研机构的青年人才以及拥有高影响力开源成果的天才学生。
此外不仅限于AI和大模型中国电信在多个技术领域进行了投入并取得了同行业中的优势这也正是“工”为基所体现的方面。
例如在量子通信领域中国电信不久前发布了具备“量子优越性”能力的“天衍”量子计算云平台此前还开通了国内规模最大、用户最多、应用最全的量子保密通信城域网并主导制定了中央企业首个牵头立项的7项量子通信行业标准含团标中的5项。
再例如在新一代信息通信技术上中国电信实现了“手机直连卫星”的全面商用并发布了全球首个支持消费级5G终端直连卫星双向语音和短信的运营级产品。
由此可见中国电信早已不是大家眼中的传统运营商在前沿技术上的投入远比我们认知的要深得多。
这也就不难理解为什么TeleAI能够率先实现万卡万参。
