门户网站系统程序,高校思政专题网站建设,我的小程序怎么制作,饰品行业网站开发科技云报道原创。
近日#xff0c;在计算机图形学顶会SIGGRAPH 2023现场#xff0c;英伟达再度释放深夜“炸弹”#xff0c;大模型专用芯片迎来升级版本。
英伟达在会上发布了新一代GH200 Grace Hopper平台#xff0c;该平台依托于搭载全球首款搭载HBM3e处理器的新型Grac…科技云报道原创。
近日在计算机图形学顶会SIGGRAPH 2023现场英伟达再度释放深夜“炸弹”大模型专用芯片迎来升级版本。
英伟达在会上发布了新一代GH200 Grace Hopper平台该平台依托于搭载全球首款搭载HBM3e处理器的新型Grace Hopper超级芯片——GH200专为处理大语言模型、推荐系统、矢量数据库等全球最复杂的生成式AI工作负载而构建。
据悉GH200芯片将成为世界上第一个配备HBM3eHigh Bandwidth Memory 3e内存的GPU芯片。
与当前一代产品相比最新版本的GH200超级芯片内存容量增加了3.5倍带宽增加了3倍相比最热门的H100芯片其内存增加1.7倍传输频宽增加1.5倍。
在当前生成式AI不断激增的需求下GH200超级芯片的推出进一步吹响了AI算力之战的号角。
性能更高的GH200芯片
据介绍GH200 Grace Hopper平台的HBM3e内存比当前HBM3快50%可提供总计10TB/s的带宽。这使得新平台能够运行比上一版本大3.5倍的模型同时凭借快3倍的内存带宽提升性能。
同时该平台采用双配置包括一个拥有144个Arm Neoverse内核、8 petaflops的AI性能和282GB最新HBM3e内存技术的单个服务器。
英伟达创始人兼首席执行官黄仁勋表示“为了满足对生成式 AI不断激增的需求数据中心需要能够满足特定需求的加速计算平台。全新GH200 Grace Hopper超级芯片平台以出色的内存技术和带宽提高了吞吐量在不影响性能的情况下可连接多GPU以整合性能并且具有可以轻松部署到整个数据中心的服务器设计。”
据英伟达公布信息新平台可以通过 NVIDIA NVLink™ 与其他超级芯片连接使它们能够协同工作从而部署当下大型生成式AI模型。这种高速、一致性技术使GPU可以完全访问CPU 内存在双配置中可提供总计1.2TB的快速内存。
值得注意的是新平台采用的新款超级芯片GH200与此前发布的H100相比二者使用同样的GPU但GH200将同时配备高达141G的内存和72核ARM中央处理器每秒5TB带宽内存增加了1.7倍带宽增加了1.5倍。
新平台和芯片的加持也让大模型训练的成本得到有效降低。黄仁勋表示一台服务器可以同时装载两个GH200超级芯片大型语言模型的推理成本将会大幅降低。
据介绍投资800万美元Grace Hopper就相当于8800个价值1亿美元的x86 GPU意味着成本降低12倍能耗降低20倍。
英伟达称GH200已于5月全面投产基于GH200 Grace Hopper平台的新系统将于2024年第二季度交付。
不过一个关键的问题是英伟达没有透露超级芯片GH200的价格这对计算成本高昂的大模型来说尤为重要H100系列目前售价约为4万美元。
为什么内存对大模型重要
事实上GH200超级芯片本身并不是一个新产品而是今年5月在中国台北Computex展上发布的GH200芯片的更新版。
英伟达超大规模和高性能计算副总裁兼总经理伊恩·巴克Ian Buck表示“我们对这款新的GH200感到非常兴奋。HBM3e不仅增加了GPU的容量和内存量而且速度也更快。”
但为什么GPU内存这么重要
这是因为随着支撑生成式人工智能应用程序的基础AI模型尺寸的增加为了能够在不连接独立芯片和系统的情况下运行大模型需要更大的内存量以避免性能下降。
拥有更大的内存允许模型保留在单个GPU上并且不需要多个系统或多个GPU来运行而额外的内存只会提高 GPU的性能。
目前即使使用英伟达最顶级的H100芯片有些模型也必须在其他GPU中“分解”模型才能运行。
据英伟达介绍最新版本GH200配备141GB的HBM3e内存旨在处理“世界上最复杂的生成式人工智能工作负载涵盖大型语言模型、推荐系统和矢量数据库”。
对AI领域的影响
英伟达的GH200超级芯片和DGX GH200超级计算机是AI领域的重大突破它们为大规模生成式AI工作负载提供了前所未有的性能和内存空间使得训练千亿甚至万亿参数的巨型模型成为可能。
这些模型可以在自然语言处理、计算机视觉、推荐系统、图形分析等领域实现更高的精度和效率为人类解决更复杂的问题提供了强大的工具。
在多位AI从业者看来当前大模型的训练需求过于迫切对性能的要求也很高而GPU的适配和生态转移都需要很长时间因此目前大家都优先选择英伟达和其他厂商的测试验证也在进行中。
一场新的算力之战已经拉开帷幕如果说算力是一个江湖那么此刻英伟达就是一名绝世高手。
它身怀加速计算的绝技尤其在AI战场上一骑绝尘似乎每一次都能精准地踏在浪潮的节奏上。从游戏PC市场、到深度学习的崛起、到云计算的普及、再到生成式AI的降临英伟达的技术所向披靡。
回头看英伟达早已超越了GPU本身的概念AI成为最大的标签算力的绝世武功撑起了新的万亿帝国。
2022年英伟达推出了多款重磅产品分别是基于全新Hopper架构的H100 GPU、CPU和GPU的合体Grace Hopper、两个CPU组合的Grace CPU SuperchipCPU的产品在2023年上市。
其中设计GPU新架构Hopper时英伟达增添了一个Transformer引擎专门为Transformer算法做了硬件优化加快AI计算的效率。
一位国内芯片从业者直言“H100出来其实就是一个新时代了Grace-Hopper再一个组合加上高配的互联完全不给活路英伟达赢家通吃AMD、Intel继续苦追。”
同时他也表示“目前国内一些企业还是在盯着CNN做优化英伟达已经有Transformer引擎然后AIGC火热恰好能做支持。这个眼光只能佩服他们的科学家们对这个领域深刻的认识。”
一位学术界人士也分析道“从H100上包括专用的Transformer引擎以及对FP8格式的支持可以看到计算硬件在向应用定制的方向前进。Grace CPU说明了整合异构计算系统的重要性。单纯的加速器优化和设计已经不能够满足现在对于计算系统的算力和能效比的要求需要各个部分的协同优化和设计。”
他还表示Grace CPU通过提高通信带宽和在CPU和GPU之间建立一致coherent的内存模型来解决运算中的瓶颈这也和学界近存计算存内计算与业界CXLCCI等等系统互联协议一直在关注的方向是一致的。
总而言之在GPU和CPU的各种排列组合中英伟达又将算力提升到了新高度。正如黄仁勋所言“我们正在重新发明计算机加速计算和人工智能标志着计算正在被重新定义。”
黄仁勋在采访中还提到数据中心需要用的CPU越来越少不再是传统上购买数百万个CPU而是转而购买数百万个GPU。换言之在他看来AI算力江湖已经是GPU的主场。
英伟达的野心
事实上随着ChatGPT引发AI大模型需求热潮作为加速计算领导者英伟达今年以来股价累计涨幅已超过210%近三个月内涨幅就达56%过去7年股价增长超40倍目前市值冲破1.1万亿美元。
公开数据显示英伟达占据全球80%以上的GPU服务器市场份额同时拥有全球91.4%的企业GPU市场份额。
据投资者服务公司穆迪今年5月份发布的一份研究报告英伟达在未来几个季度将实现“无与伦比”的收入增长其数据中心业务的收入将超过竞争对手英特尔和AMD的总和。
但摩根士丹利策略分析师斯坦利Edward Stanley在最新报告中称根据历史背景英伟达的股价飙升处于“后期”阶段摩根士丹利认为这标志着 AI 行业的“泡沫”。
GPU持续紧缺下如今英伟达产品价格已同比上涨超30%英伟达A800单卡现货近13万元一颗eBay上H100售价高达4.5万美元。
同时OpenAI的GPT-4大模型需要至少2.5万张英伟达A100 GPU芯片而该公司目前至少已拥有1000万颗GPU芯片。
正如黄仁勋常说的“你GPU买得越多你越省钱”。主要原因是新的GPU产品能显著提升加速计算比CPU性能更强、算力更大、功耗更低。
但英伟达的布局还不止于此。
一个现实问题是高性能的算力也意味着高昂的价格。大模型训练成本动辄成千上百万美元并不是所有公司都能承受。
而英伟达同时提出了云服务的解决方案NVIDIA AI foundations黄仁勋表示要做“AI界的台积电”。台积电大大降低了芯片设计公司生产门槛英伟达也要做代工厂的角色通过和大模型厂商、云厂商合作提供高性价比的云服务。
在帮助下游企业降低大模型训练成本的同时英伟达还在逐步参与到上游的产业链升级中。今年英伟达牵手台积电、ASML、新思发布了计算光刻库cuLitho。
计算光刻是在芯片设计和制造领域的关键步骤也是最大的计算负载之一。计算光刻库的技术突破就在于可以通过部署有大量GPU的DGX AI计算系统对计算光刻进行加速使其达到原有的基于CPU的计算速度的几十倍同时降低计算过程的总能耗。
这将有助于晶圆厂缩短原型周期时间、提高产量、减少碳排放为2nm及更先进的工艺奠定基础并为曲线掩模、高数值孔径极紫外、亚原子级光刻胶模型等新技术节点所需的新型解决方案和创新技术提供更多可能性。
在多位产业界人士看来虽然短期内不会影响到下游的应用方面但是这些上游的研发和升级将长期影响产业的发展累积形成代际差。
“英伟达在GPU架构的迭代上一直都有属于自己的发展路径这几年的发展也让英伟达跃居AI算力芯片领域的领导者也因为领先所以英伟达会思考如何做更多元的布局与行业内的深度合作这样更能了解行业的需求比方和台积电等合作便是很好的例子”某芯片行业专家表示。
当然英特尔和AMD都已经吹响反攻的号角。
7月英特尔面向中国市场推出了AI芯片Habana Gaudi 26月AMD推出AI芯片Instinct MI 300X两者都直接对标英伟达100系列。
目前在数据中心市场英伟达和Intel、AMD形成三足鼎立之势。但随着GH200的正式发布Grace CPU正式登台争角最应该感到如芒在背的应该是Intel、AMD。虽说大家都知道GH200迟早发布但等真正发布了还是有所触动。
围绕着算力的权力游戏还将继续。
【关于科技云报道】
专注于原创的企业级内容行家——科技云报道。成立于2015年是前沿企业级IT领域Top10媒体。获工信部权威认可可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。
