湖南省金力电力建设有限公司 网站,360建筑官网,大数据营销网站,wordpress分类目录关键字ChatGPT掀起的新一轮人工智能狂欢下#xff0c;隐藏在背后的“大模型”正进入越来越多开发者的视野。
诚如几年前开始流行的一种说法#xff1a;数据是燃料、模型是引擎、算力是加速器。ChatGPT的出现#xff0c;恰如其分地诠释了数据、模型和算力的“化学反应”。而在其中…ChatGPT掀起的新一轮人工智能狂欢下隐藏在背后的“大模型”正进入越来越多开发者的视野。
诚如几年前开始流行的一种说法数据是燃料、模型是引擎、算力是加速器。ChatGPT的出现恰如其分地诠释了数据、模型和算力的“化学反应”。而在其中扮演“桥梁”角色的恰恰是上承应用、下接芯片的AI框架。
正是在这样的背景下市场调研机构Omdia通过对AI开发者进行调研在日前发布了《中国人工智能框架市场调研报告》向外界揭示了国内开发者对于AI框架的认知以及不断变化的行业格局。
01 开发者眼中的AI框架市场 随着ChatGPT的热度越来越高不少人坦言“人工智能领域正在引发新一轮科技竞赛”其实AI的学术竞赛在2020年前后就已经开始。
OpenAI在这一年推出了著名的GPT-3拥有1750亿参数量DeepMind的AlphaFold2在第14届国际蛋白质结构预测竞赛中夺冠同时全球AI论文发表量逐年增长来自中国的论文比例越来越高… 顶会论文、大模型、科学智能代表的技术生态达到了前所未有的热度。
同样是在2020年以昇思MindSpore等为代表的中国AI框架纷纷开源开始了追赶TensorFlow、PyTorch等前辈们的追逐赛中国AI框架的崛起和技术生态的繁荣不可避免地出现了交叉。
就像Omdia在《中国人工智能框架市场调研报告》中给出的观点在大模型应用的趋势下国内开发者对于AI框架的认知发生了一些微妙的变化。
比如“对于超大规模模型训练能力您觉得哪个人工智能框架最好”的问题中36%的开发者投票给了TensorFlow/JAX15%的开发者选择的是PyTorch昇思MindSpore以10%的占比排名第三。
需要说明的是开发者的答案在某种程度上受到了认知习惯的影响自然而然地给“老牌框架”打了高分。譬如谷歌的TensorFlow并非原生支持大模型通过新推出的另一个新生框架JAX作为TensorFlow的简化库融入PyTorch则是靠第三方并行算法库补充了大模型支持能力。昇思MindSpore正依托原生支持大模型的能力快速崛起。
再比如“您认为最适合做AI for Science项目的人工智能框架是”的问答下TensorFlow和新生框架JAX收到了45%的开发者支持昇思MindSpore在这个问题下超过了PyTorch以37%的支持率排名第二。
而在人工智能框架使用率的排名中TensorFlow和PyTorch的先发优势依然存在但昇思MindSpore以11%的份额进入第一梯队。TensorFlow早在2015年就已经开源PyTorch的历史也可以追溯到2017年昇思MindSpore比“前辈”们晚了三到五年但表现出了快速赶超老牌AI框架的态势扮演了“挑战者”的角色。
如果说Omdia的报告主要是基于开发者的认知可能与实际情况存在一定出入那硬核的技术生态与行业生态的合作则以板上钉钉的数字佐证着昇思MindSpore等中国AI框架崛起态势
在技术生态方面昇思MindSpore已经与200多所高校、科研机构展开创新合作在行业生态方面仅在2022年获得昇思技术认证的企业就超过800多家涵盖制造、金融、电信运营商等国计民生行业在开源生态方面昇思MindSpore在Gitee AI开源项目综合排名TOP1软件下载增速第一总量已超过370万……
02 昇思MindSpore越级的时与势 一个残酷但有现实意义的现象是2020年AI框架市场还是一幅百家争鸣的景象目前却出现了典型的虹吸效应。
按照Omdia的调研数据在中国人工智能框架的使用率方面TensorFlow、PyTorch、昇思MindSpore和飞桨合计占了86%的市场份额大多数AI框架的使用率不足1%曾经声名鹊起的Caffe、CNTK等已逐渐掉出主流队伍只有昇思MindSpore一家逆势进入了AI框架的第一梯队。
想要弄清问题的答案昇思MindSpore可以说是最好的研究对象。过去近三年时间里昇思MindSpore到底做对了什么
第一个参考答案是大模型的“时”。
2021年9月的华为全联接大会上昇思MindSpore迭代至1.5版本最直接的变化就是原生支持AI大模型训练通过全自动并行、可视化智能调优等大幅提升了大模型的开发效率。
其中在大模型并行训练上昇思MindSpore支持数据并行、MoE并行、优化器并行、多副本并行等7大并行计算能力将训练千亿模型的代码量降低了80%、调优时间下降60%和TensorFlow、PyTorch等框架相比昇思MindSpore是支持模型结构最全的AI框架包含稠密、稀疏MoE、卷积结构、高维稀疏等。
第二个参考答案是应用创新的“势”。
2022年11月发布的2.0版本中完成了AI与HPC的融合通过神经网络模拟的非线性拟合让科学家无需再解高维方程进一步提升了科技创新效率。特别是在产业应用创新方面昇思MindSpore构建了流体仿真、电磁仿真、分子模拟在内的科学计算套件持续使能应用创新。
和PyTorch的兴起不谋而合昇思MindSpore也将技术生态作为“先手棋”。印证昇思MindSpore “路线正确”的案例绝不止Omdia的报告和开发者的认同还有一份沉甸甸的成绩单。
衡量创新能力的一个重要标准正是论文数量。按照Papers with Code网站的统计数据2022年使用昇思MindSpore的顶级会议论文已经超过600篇在国内AI框架中排名第一在全球范围内仅次于PyTorch。
而在大模型的创新中目前国内科研院所和高校已经发布了10多个基于昇思MindSpore的大模型。其中紫东.太初是全球首个三模态大模型能够实现视觉、文本、语音三个模态间的高效协同曾在2022世界人工智能大会上斩获“卓越人工智能引领者”奖东方.御风是业界首个工业级流体仿真大模型在进行飞机流场模拟仿真时对比传统的科学计算在精度一样的情况下东方.御风的仿真时间只需要原来的1/25。
如果把人工智能产业生态比喻成森林的话人工智能框架就像是森林中的土壤寻求创新的开发者自然会“择水土而居”。
03 不应被忽视的可信AI问题 在全民“调戏”ChatGPT的风潮中ChatGPT有时会“一本正经地胡说八道”这其实暴露了存在事实性错误、知识盲区和常识偏差等诸多问题。
Omdia在《中国人工智能框架市场调研报告》中向开发者询问了类似的问题最终的答案似乎超出了一些人的料想在所有主流人工智能框架中国内的开发者普遍认为TensorFlow 与 昇思MindSpore 对“负责任的人工智能”提供的支持最好。
个中原因其实不难解释。为了打消开发者担心的安全隐私等问题谷歌通过Model Cards等工具让框架更加透明、更具备可解释性同时TensorFlow也提供了一系列支持数据安全和隐私的功能、库和培训工具。
昇思MindSpore之所以能够在可信方面超越PyTorch离不开对AI安全技术体系的布局提供了涵盖AI训练、AI测评、AI部署的一整套端到端的安全可信体系包括联邦学习、模型水印、模型加密等外界所熟知的可信机制。
比如联邦学习是一种常见的隐私保护方式可以在不收集数据的情况下协同进行模型的训练实现数据的“可用不可见”继而保护隐私信息。然而联邦学习和大模型的结合也产生了诸多挑战涉及到计算代价、通信开销、隐私泄露、模型安全等等需要解决隐私保护与效率的两难课题。
昇思MindSpore的回答是跨域可信训练。
以鹏城.盘古大模型为例昇思的联邦学习能力助力盘古超大模型协同训练根据各地算力情况将大模型拆分以AI计算中心超大算力实现盘古主干网络的正反向训练同步在银行等计算机房做数据处理模型Embedding、TOP层算Loss正反向训练实现了敏感数据不出本地并让联邦学习的训练时延降低了30%、通信和计算开销降低了40%。
就像Omdia在报告中的评论“负责任的人工智能”即是一套道德准则又是一套技术体系 是以安全、可靠和合乎道德的方式开发、评估、部署和规模化人工智能系统的方法对人工智能的可持续发展非常重要。
大模型、科学智能等技术生态在过去三年时间里深入影响了开发者对AI框架的选择把时间再拉长一些的话能否在可信AI方面有所作为能否打消开发者的疑虑无疑将左右AI框架下一个三到五年的市场排位。
04 写在最后 人工智能的星星之火能否燎原AI框架有着不可或缺的作用。
一座城市的繁荣不在于有多高的摩天大楼而是无处不在的建筑群。沿循这样的逻辑AI框架的价值在于赋予不同的开发者“建造高楼”的能力让人工智能的前沿能力进入每一个行业、每一家企业。
至少以昇腾AI为首的中国人工智能产业建设者早已开始发力。
不只是昇思MindSpore在技术生态上的异军突起Atlas系列硬件、异构计算架构CANN、昇腾应用使能MindX等软硬件也在持续创新为开发者打造了“端、边、云”的全场景AI基础设施让人工智能在千行百业不断扩散。
