大连建设局网站,搜索推广营销,wordpress显示的是文件目录,深圳软件开发传统超级计算机作为科学计算的核心支柱#xff0c;在推动技术进步方面发挥了不可替代的作用#xff0c;但随着科学智能时代下需求的多样化和复杂化#xff0c;其扩展性和能效的局限逐渐显现。
针对这一挑战#xff0c; 微软亚洲研究院 的研究员提出了 Cloud4Science 的新范…传统超级计算机作为科学计算的核心支柱在推动技术进步方面发挥了不可替代的作用但随着科学智能时代下需求的多样化和复杂化其扩展性和能效的局限逐渐显现。
针对这一挑战 微软亚洲研究院 的研究员提出了 Cloud4Science 的新范式以云计算、 人工智能 和高性能计算技术的深度融合为核心重新定义科学计算的架构加速科学智能的研究进展。
在此框架下研究员们已对关键科学计算算法如 Stencil、FFT、SpMV 等进行了优化并成功开发了一系列创新算法为科学家利用云计算及 人工智能 平台进行科学计算和研究开辟了新的途径。
相关工作已连续发表在 SC、PPoPP 等高性能计算与并行计算领域顶会并获得了 PPoPP’24 唯一最佳论文奖。 在刚刚落幕的国际超算大会 SC’24 上最新揭晓的戈登贝尔奖获奖应用成功突破了 E 级计算的瓶颈标志着超级计算机应用正式迈入下一个关键阶段——万 P 级计算每秒千亿亿次浮点运算。作为高性能计算HPC的巅峰代表超级计算机长期以来一直是推动科学和技术进步的重要力量。 科学计算作为超级计算机的核心应用领域利用其强大的计算能力通过数值模拟、数据分析和数学建模旨在解决科学、工程和技术中的复杂问题在揭示自然规律、预测未知现象以及推动技术创新中发挥着不可或缺的作用。
然而随着科学智能AI for science时代的到来超级计算机在追求更高性能的同时也面临着一些新的挑战 架构碎片化各超算系统采用不同的硬件架构和编程模型科学应用需要复杂的定制化适配才能运行。这不仅限制了科学应用的多样性还难以兼顾传统科学计算与智能计算的双重需求。 开发难度高科学智能时代强调多学科、多技术领域的交叉与协作。不同的超级计算机架构不仅增加了软件开发和维护的复杂度开发者还需要不断重新学习并掌握跨领域的专业知识阻碍了科学研究的灵活性和快速推进。 能耗与成本压力当前 E 级超算每年耗电可达上亿度未来 Z 级超算能耗可能更高。同时系统更新换代成本巨大应用需重新设计和部署进一步增加了科研投入的时间和经济成本。
「传统科学计算的优势在于数值求解通过高精度计算模拟复杂的物理过程。然而随着问题规模的快速扩大和计算复杂度的持续攀升单纯依赖数值求解的模式难以充分释放未来万 P 级甚至 Z 级超算的全部潜力。」 微软亚洲研究院 高级研究员李琨表示「科学计算正在从传统数值求解向融合知识推理的科学智能转型。通过将高性能计算技术与未来的 Z 级算力结合全面支撑科学智能时代对极限计算和智能推理的双向扩展需求才会为更多突破性发现提供全新的可能性。」
Cloud4Science 范式加速科学计算进程
为了应对这些挑战 微软亚洲研究院 的研究员提出了 Cloud4Science 范式希望通过融合现有的云基础设施、 人工智能 和高性能计算技术重塑科学计算的模式。这一范式为传统超算范式提供了有效的补充也为科学智能提供了一种更加灵活、高效且可扩展的解决方案。
「Cloud4Science 范式通过将科学计算任务迁移到云平台或 人工智能 架构上实现了计算架构的统一降低了科学计算的访问门槛。」 微软亚洲研究院 首席研究员曹婷表示「这使得科研人员能够在单一平台上使用多种算法和应用同时云平台和 人工智能 的强大算力也将大幅提升科学计算效率为未来的科学研究与计算应用开辟新的可能性。」
为了实现 Cloud4Science 范式研究员们计划分两个阶段来推进 Cloud4Science融合云计算、AI 与高性能计算驱动科学智能新未来
第一阶段是以问题为导向从算法角度对传统科学计算进行迁移确保这些计算任务能够在云计算或人工智能 硬件架构上顺利运行。这一阶段的核心任务是将经典的科学计算算法如 Stencil、FFT快速傅里叶变换、SpMV稀疏矩阵-向量乘法等转换为基于矩阵乘法的计算模式以便充分利用云计算和 人工智能 的强大计算能力。通过这一转化传统科学计算算法的性能得以显著提升同时大幅降低了科学应用对硬件适配的复杂性并为下一步科学计算的智能化奠定了基础。
第二阶段的目标是推动科学计算算法与人工智能 的深度融合。传统的科学计算算法更注重数值计算而科学智能则强调推理能力的提升。科学计算模型与大语言模型虽然在某些方面可以互相借鉴但二者之间存在显著差异。科学计算模型通常包含大量的物理信息和生物信息这些专业知识需要被有效地整合到算法设计中。因此这一阶段的任务是设计融合传统科学计算模型与 人工智能 技术的创新解决方案通过 人工智能 技术有效整合领域知识、生成洞见并促进科学创新充分利用云原生和 人工智能 原生架构的优势进一步推动 Cloud4Science 范式的发展。
传统科学算法向云计算与人工智能 硬件的无缝迁移
目前第一阶段的研究目标已经基本完成即实现传统科学计算算法向云计算和 人工智能 硬件的无缝迁移。
研究员们从 Stencil 算法入手设计了全新的算法 Jigsaw 和 ConvStencil将 Stencil 算法向量化并重新张量化成矩阵乘法模式使 Stencil 算法成功映射到 Tensor Core 等 人工智能 加速器硬件单元。
随后研究员们又引入了 人工智能 驱动的低秩适应Low-Rank ApproximationLoRA技术进一步优化 Stencil 性能推出了 LoRAStencil 以及融合三种经典算法的 FlashFFTStencil这些创新让多种科学计算算法能够更高效地部署在 人工智能 加速单元上实现性能的显著提升并同时降低了硬件适配的复杂性。
扩展矩阵计算边界连接科学与 AI 硬件
为突破科学计算的性能瓶颈研究员们提出了 ConvStencil [1]通过将传统的科学计算算法映射为矩阵乘法进一步扩展了矩阵计算的应用边界为科学计算与 AI 硬件的高效协同奠定了坚实基础。
基于 Stencil 算法与 人工智能 领域广泛应用的卷积计算模式有着相似之处研究员们专门开发了一套针对 GPU Tensor Core 的优化算法使得其能够充分利用 Tensor Core 强大的矩阵计算能力。 通过引入布局转换与冲突消除机制ConvStencil 不仅显著提升了科学计算与云计算及 人工智能 硬件的兼容性还促进了科学计算从传统的 CPU 计算向现代 GPU 计算的顺利过渡。 基于矩阵乘法的 ConvStencil 计算系统PPoPP’24 唯一最佳论文奖
为了实现内存访问效率的大幅提高研究员们在 ConvStencil 的基础上设计了 LoRAStencil [4]通过融入 LoRA 技术巧妙地结合了数据的低秩特征与计算需求。利用分解权重矩阵优化数据的加载与复用过程LoRAStencil 有效减少了不必要的内存访问解决了维度残差问题。
实验评估显示LoRAStencil 相比现有技术性能提升最高可达2.16倍。LoRAStencil 为在 Tensor Core 单元上实现高效的张量化 Stencil 计算开辟了新的途径使其在科学计算中能发挥更大作用。 尽管 Tensor Core 单元在处理 人工智能 任务时表现出色但在处理如 Stencil 这样涉及大量稀疏数据的高性能计算算法时仍面临计算资源利用率不高和内存带宽受限的问题。
为了解决这些挑战研究员们创造性地将 Stencil、FFT 和矩阵乘法三种经典科学计算算法融为一体提出了更为高效的 FlashFFTStencil 计算系统 [3]。
实验结果证实FlashFFTStencil 实现了无稀疏性的边界转换其性能较现有最先进的技术平均提升了 2.57 倍。
FlashFFTStencil 在实现了多种科学计算算法统一的同时还成功地将这些算法与 Tensor Core 单元等先进的 人工智能 硬件连接起来为科学计算的未来发展提供了新的可能性。 基于全稠密矩阵计算的 FlashFFTStencil 系统
时空数据向量对齐提升 CPU 计算效率
Jigsaw 算法 [5] 专注于 Stencil 算法的向量化通过采用基于通道的蝶形向量化、基于奇异值分解的维度展平SVD-based Dimension Flattening技术以及基于迭代的时间合并策略有效解决了空间和时间维度上的数据对齐冲突Data Alignment Conflict, DAC问题大幅提升了科学计算在 CPU 上的效率。
实验结果显示在多种测试环境中Jigsaw 相对于当前最先进的技术平均实现了2.31倍的加速效果适用于广泛的 Stencil 内核。
在此基础上研究员们还对另一种重要的科学计算算法——稀疏矩阵-向量乘Sparse Matrix-Vector Multiplication, SpMV进行了深入优化提出了 VNEC 算法 [6]。
这是一种创新的 SpMV 存储格式旨在优化数据局部性和向量化操作同时缓解现有算法的局限性。VNEC 通过剔除冗余列和改进数据局部性大幅度减少了内存访问开销增强了向量计算的效率。
实验表明在多核处理器环境下VNEC 在 x86 CPU 上相较于标准 MKL SpMV 例程最高实现了 6.94 倍平均 2.10 倍的加速在 ARM CPU 上的加速比最高可达 5.92 倍平均 1.73 倍。
由于 VNEC 格式转换的预处理成本较低特别适用于实际的迭代应用场景展现出了极高的实用价值。
Cloud4Science 范式在量子化学中的实践探索
为了验证 Cloud4Science 范式能否为科学计算带来更好的性能提升 微软亚洲研究院 的研究员们与微软研究院科学智能中心Microsoft Research AI for Science团队合作共同开发了一种端到端的优化编译器 EPTElastic Parallel Transformation[2]。利用弹性并行转换技术EPT 可以把传统的科学计算算法特别是从头算量子化学计算自动适配至 GPU 架构。因此EPT 能够将复杂的量子化学问题分解为适合并行处理的单元优化任务的划分粒度并生成专为 GPU 架构优化的高效计算内核。 弹性并行转换EPT编译器系统框架图
通过在多种 GPU 硬件如 NVIDIA V100、A6000、A100 等上对13种具有代表性的分子进行测试实验结果显示EPT 在保证从头算精度的前提下相较于现有的顶级 CPU 和 GPU 解决方案性能分别提升了高达34.90倍和9.89倍。
通过 Cloud4Science 范式量子化学研究的计算效率和精度得到了显著提升这为加速新材料开发、药物设计和基础科学探索提供了坚实的技术基础。
Cloud4Science 范式推动 HPC 领域变革加速科学研究发现
在科学研究迈向智能时代的进程中矩阵计算正逐渐成为连接传统数值计算与科学智能的关键桥梁而 Cloud4Science 范式凭借其 Z 级计算潜力不但为科学在时间和空间尺度上带来了质的飞跃的可能同时也为科学计算向智能化与推理驱动方向的演进注入了动力。
以量子化学为例Cloud4Science 不仅能缩短计算周期将复杂分子相互作用的模拟时间从数年压缩至数周甚至数天还能通过矩阵计算与 AI 推理的融合使得系统能够基于海量计算数据进行模式识别与智能推理例如预测药物分子与蛋白靶点的相互作用趋势自动发现可能的抗性突变路径。 正如个人计算机从单机时代迈入云计算时代彻底革新了信息处理的广度与效率未来 Cloud4Science 范式的成功应用也有望在 人工智能 时代为高性能科学计算带来新的变革。
通过融合云计算的可扩展性、AI 的智能决策能力以及高性能计算技术Cloud4Science 将在未来迈向 Z 级计算的过程中实现科学计算在极限求解与智能推理两大方向的双向突破赋予科学智能更强的灵活性、更高的效率与更广泛的可扩展性为科学研究带来新的创新动力与发展空间。
「Cloud4Science 新范式将显著降低高性能计算基础设施的开发成本并提升其对科研人员的易用性。」曹婷表示「尤其是对于那些资源有限的小型研究团队或初创企业而言这一范式将赋能他们获取 E 级乃至万 P 级科学计算的潜力。这意味着更多的科研工作者可以参与到之前仅限于顶尖机构和大型企业才能涉足的前沿科学计算研究中极大地拓宽了科学研究的边界加速科学发现的步伐。」
更多内容可以访问我的博客 https://ai.tmqcjr.com
