如何提交网站给百度,重庆涪陵建设银行网站,网站购物车建设,适合女生去的培训机构7 AI在材料科学中的应用 在这一部分#xff0c;我们将讨论AI技术在材料科学中的应用。首先#xff0c;我们将介绍晶体材料的概述#xff0c;并详细定义晶体材料的物理对称性#xff0c;具体在第7.1节中讨论。接下来#xff0c;我们将在第7.2节和第7.3节中讨论两个常见且基…7 AI在材料科学中的应用 在这一部分我们将讨论AI技术在材料科学中的应用。首先我们将介绍晶体材料的概述并详细定义晶体材料的物理对称性具体在第7.1节中讨论。接下来我们将在第7.2节和第7.3节中讨论两个常见且基础的任务即材料表示学习问题和材料生成问题。此外我们还包括了三个高级主题包括有序晶体材料表征第7.4节、无序晶体材料表征第7.5节以及声子计算第7.6节。 7.1 概述 作者Youzhi LuoYuchao LinYi LiuShuiwang Ji 除了小分子和蛋白质之外AI方法已经用于建模晶体材料这是另一类由3D空间中原子的周期重复形成的大型化合物家族。晶体材料是许多实际工业应用的基础如半导体电子学、太阳能电池和电池[Butler等人2018]。由于行业的巨大需求材料科学已经涌现出来用于研究各种基础研究如预测材料性质例如形成能和设计具有目标性质的新材料。长期以来这些问题的研究进展相对较慢因为它们严重依赖于昂贵的实验室实验或耗时的材料模拟。最近受到AI方法的成功启发特别是分子上的机器学习模型许多研究已经尝试将这些模型应用于与晶体材料相关的问题[Choudhary等人2023; Du等人2023b]。然而与分子不同晶体材料中的原子排列具有复杂的重复单位单元和原子的周期排列。因此晶体材料与分子具有非常不同的物理对称性开发有效的AI模型需要明确地捕捉这些模型中的这些对称性。 在本节和接下来的节中我们通过晶格矢量和其中一个单元格来描述晶体材料的结构即最小的可重复结构。具体来说如果任何单元格中的原子数为则晶体材料M表示为M (, , )。在这里 ∈ Z是原子类型向量其中的第个元素表示单元格中第个原子的原子类型原子序号。 [1, ..., ] ∈ R3×是坐标矩阵其中表示单元格中第个原子的3D坐标。 [l1, l2, l3] ∈ R3×3是晶格矩阵其中三个晶格矢量l1、l2、l3描述了原子沿其周期性重复的三个周期性矢量。在物理学中晶体材料存在几种明确定义的对称性变换包括以下几种置换、(3)和周期性变换。
• 置换变换通过对M (, , )中的原子顺序进行排列即交换中的元素和具有相同顺序的中的列向量生成新材料。
• (3)变换或刚性变换通过在3D空间中进行平移、旋转或反射来改变M (, , )的3D坐标。具体来说和被替换为 1和其中 ∈ R3是任意的平移向量 ∈ R3×3是满足 的正交矩阵1是一个所有元素都为1的维向量。
• 周期性变换将M (, , )的3D坐标映射到周期性等效的坐标可以形式上描述为用新的坐标矩阵′ 替换其中 ∈ Z3×是任意的整数矩阵。 图28. 材料科学中AI任务和方法的概述。在这一部分我们考虑了四个任务包括材料表示学习、材料生成、材料表征和声子计算。在材料表示学习中我们讨论了使用不同的材料图表示的两类方法。第一类方法包括CGCNN [Xie和Grossman 2018]、MEGNET [Chen等人 2019b]、GATGNN [Louis等人 2020]、SchNet [Schütt等人 2018]、ALIGNN [Choudhary和DeCost 2021]和M3GNet [Chen和Ong 2022]只使用多边图。第二类方法包括Matformer [Yan等人 2022]、PotNet [Lin等人 2023d]和Ewald-MP [Kosmala等人 2023]使用多边图和完全连接图来捕获周期性信息。在材料生成中我们讨论了三类使用三种不同的3D材料结构表示作为生成目标的方法。第一类方法包括Hoffmann和Noé [2019]和Cond-DFC-VAE [Court等人 2020]生成3D体素网格。第二类方法包括FTCP [Ren等人 2022]和Kim等人 [2020]生成分数坐标。第三类方法包括CDVAE [Xie等人 2022a]和SyMat [Luo等人 2023c]以多边图的形式生成材料。在材料表征中我们讨论了使用不同材料表示的两类方法。第一类方法包括Garcia-Cardona等人 [2019]、Chitturi等人 [2021]、Corriero等人 [2023]、Greasley和Hosein [2023]以及Banko等人 [2021]使用1D光谱数据表示材料然后预测材料结构。第二类方法包括DeepStruc [Kjær等人 2023]和Venetos等人 [2023]利用材料的局部环境描述符来建模无序材料。请注意第7.4节和第7.5节都描述了材料表征而第7.5节特别针对无序材料的情况。为了清晰起见在此图中这两节已经合并成一个任务即材料表征。在声子计算中我们讨论了使用不同材料表示的两类方法。第一类方法包括MLIPs [Mortazavi等人 2020]和MTPs [Zuo等人 2020]应用材料的局部环境描述符来表示材料结构。第二类方法包括VGNN [Okabe等人 2023]和Chen等人 [2021a]使用多边图来捕获周期性信息。
换句话说对于任意材料M (, , )如果通过对M应用上述变换之一得到M′我们应该将M和M′视为同一材料的不同表示。理想情况下学习的属性预测函数和材料分布应该具有对称性感知即满足(M) (M′)和(M) (M′)。在接下来的小节中我们将回顾和讨论现有的用于材料表示学习和材料生成的AI方法以及包括有序/无序材料表征和声子计算在内的新兴主题主要从捕获对称性的角度进行比较。请参见我们所涵盖的方法的概览见图28。
7.2 材料表示学习
作者Keqiang Yan、Yuchao Lin、Youzhi Luo、Yi Liu、Shuiwang Ji 推荐先修知识第7.1节
本节首先讨论了用于属性预测的材料表示学习。开发材料表示学习模型的主要挑战在于捕捉晶体材料的对称性特别是对周期性变换的不变性。为了克服这一挑战现有研究提出了许多晶体图表示构建方法和晶体图神经网络模型。我们将在下面的小节中详细介绍它们。
7.2.1 问题设置
材料表示学习需要学习一个函数来预测给定材料M的属性其中可以是一个实数回归问题或分类号分类问题。
7.2.2 技术挑战
晶体材料表示学习旨在基于它们的晶格结构来预测晶体材料的物理和化学性质。如上节所述不同于小分子或蛋白质晶体材料由最小单位晶胞结构和相应的3D空间中周期性重复的模式组成。因此需要为晶体材料建立独特的几何对称性和模型设计。具体而言当对和同时应用旋转变换或仅对应用平移变换时晶体结构保持不变这是由Yan等人[2022]描述的晶胞(3)不变性。除此之外当应用周期性变换时晶体结构保持不变相应的图表示应该是相同的这是由Matformer[Yan等人2022]描述的周期不变性。此外指示单位晶胞在3D空间中重复的方向的周期性模式对晶体结构建模也至关重要。对于晶体神经网络的设计由于晶体结构中的一个单元格可以包含两百多个原子考虑原子之间的高阶相互作用仍然具有挑战性。然而高阶相互作用可以被认为是不可或缺的以实现晶体结构的完整几何表示。此外需要为晶体结构设计强大且高效的网络因为一个单元格中可能有两百多个原子。
7.2.3 现有方法
如图29所示材料表示学习的典型流程包括构建晶体图表示和使用晶体图神经网络来预测属性。我们将在下面讨论几种代表性的晶体图表示方法和晶体图神经网络模型。
晶体图表示晶体的周期性特性为晶体表示学习提出了独特的挑战如上所述。具体来说为了解决挑战1和2CGCNN [Xie和Grossman 2018]提出通过基于单位晶胞结构构建的多边晶体图来表示无限的晶体结构这已被Yan等人[2022]证明是周期不变的。具体地多边晶体图将给定的原子和其在3D空间中的所有副本映射为单个节点并通过记录成对欧几里德距离作为多条边来建模节点对之间的相互作用。由于多边晶体图的有效性和简单性它已经被许多后续工作广泛使用包括MEGNET [Chen等人 2019b]通过记录成对的欧几里德距离多边晶体图能够保持对(3)变换的不变性包括3D空间中的旋转、平移和反射。因此多边晶体图具有周期不变性和(3)不变性仅考虑了二阶的成对欧几里德距离。除此之外为了启用更高阶的相互作用ALIGNN提出了在不破坏周期不变性的情况下进一步包括键之间的角度而M3GNet以类似的方式包括了三体相互作用。然而这些方法只考虑了给定原子的局部相互作用无法捕获周期性模式这是晶体结构与分子结构之间的关键区别。为了明确捕获周期性模式Matformer[Yan等人 2022]提出使用六个自连接边来编码三个周期矢量它们的组合可以完全捕获周期矢量的长度和它们之间的角度。此外最近的两项工作利用Ewald求和来捕获周期信息。PotNet[Lin等人 2023d]提出通过使用多种类型的势能的无限求和来考虑晶体结构中任意两个节点之间的无限相互作用因此这些求和捕获了周期模式。在类似的思路下Ewald-MP[Kosmala等人 2023]通过应用Ewald求和中的分解来解决周期结构中的长程相互作用问题。通过将消息传递的聚合分解为在实空间中建模的短程信号和在傅里叶空间中建模的长程信号明确捕获了周期结构信息。前期工作的晶体图表示总结如表25所示。 图29. 材料表示学习的流程。晶体材料被转化为晶体图表示随后作为晶体图消息传递神经网络的输入。然后模型被训练以准确预测晶体的所需性质。值得注意的是消息传递过程可以根据其是否包含周期性信息来区分比如晶格长度或无限势能求和。不包含周期信息的网络包括诸如CGCNN [Xie和Grossman 2018]、SchNet [Schütt等 2018]、MEGNet [Chen等 2019b]和ALIGNN [Choudhary和DeCost 2021]等模型。相反包含周期信息的网络包括Matformer [Yan等 2022]、PotNet [Lin等 2023d]和Ewald-MP [Kosmala等 2023]等模型。此外预测的输出可以被分类为图级别属性包括形成能和带隙或节点级别属性包括力。
表25. 摘要了以前工作使用的晶体图表示。可以看出所有以前的工作都满足周期不变性并实现了(3)不变性。在这些方法中Matformer [Yan等 2022]、PotNet [Lin等 2023d]和Ewald-MP [Kosmala等 2023]明确编码周期性模式。CGCNN [Xie和Grossman 2018]、MEGNET [Chen等 2019b]、GATGNN [Louis等 2020]、SchNet [Schütt等 2018]、Matformer [Yan等 2022]和PotNet [Lin等 2023d]只使用了两体键信息而ALIGNN [Choudhary和DeCost 2021]和M3GNet [Chen和Ong 2022]还使用了三体角信息。 GATGNN [Louis et al. 2020] 和 ALIGNN [Choudhary 和 DeCost 2021] 是两种现代晶体图神经网络的代表。此外采用成对的欧氏距离可以实现多边晶体图不受 (3) 变换的影响包括在三维空间中的旋转、平移和反射。因此多边晶体图具有周期性不变性和 (3) 不变性仅考虑二阶体次的成对欧氏距离。除此之外为了实现更高阶的相互作用ALIGNN 提出了在不破坏周期性不变性的情况下进一步包括键之间的角度而 M3GNet 以类似的方式包括三体相互作用。然而这些方法仅考虑给定原子的局部相互作用不能捕捉周期性模式而晶体结构和分子结构之间的关键差异就在于此。为了明确捕捉周期性模式Matformer [Yan et al. 2022] 提出使用六个自连接边来编码三个周期向量它们的组合可以完全捕捉周期向量的长度和它们之间的角度。此外最近的两项工作利用 Ewald 求和来捕捉周期性信息。PotNet [Lin et al. 2023d] 提出通过使用多种类型势能的无限求和来考虑晶体结构中任意两个节点之间的无限相互作用从而通过这些求和来捕捉周期性模式。在类似的思路下Ewald-MP [Kosmala et al. 2023] 通过将消息传递的聚合分解为在实空间建模的短程信号和在傅里叶空间建模的长程信号来解决周期性结构中的长程相互作用问题从而明确地捕捉周期性结构信息。前述工作的晶体图表示的摘要如表 25 所示。 晶体图神经网络现代图神经网络在预测材料性质方面的有效性依赖于它们融入的对称性和高阶信息以及所使用的消息传递方式。现有的网络如 CGCNN [Xie 和 Grossman 2018]、MEGNET [Chen et al. 2019b]、GATGNN [Louis et al. 2020] 和 SchNet [Schütt et al. 2018]采用半径晶体图在消息传递期间仅考虑二体距离作为边的特征类似于分子表示学习中使用的方法。具体而言SchNet 和 MEGNET 使用常见的图卷积网络而 CGCNN 则采用 sigmoid 门操作对节点和边的特征进行连接而 GATGNN 在消息传递期间使用注意力机制来加权节点特征。此外如上所述Matformer [Yan et al. 2022]、PotNet [Lin et al. 2023d] 和 Ewald-MP [Kosmala et al. 2023] 在消息传递期间包括额外的特征以解决先前方法缺乏周期性信息的限制。具体而言Matformer 明确地将晶格结构信息编码为自连接边。此外PotNet 通过将长程和短程相互作用相加并将它们编码为全连接图的边特征考虑了无限的原子间势能求和。相比之下Ewald-MP 将长程相互作用与短程消息传递分离并在每一层之后将短程和长程节点嵌入组合在一起。为了降低与全连接图相比的复杂性这两种消息传递都建立在截断图上即在实空间中有一个距离截断和在傅里叶空间中有一个频率截断。虽然大多数上述方法都基于原子间二体信息但包括三体信息也可以增强材料表示正如 ALIGNN [Choudhary 和 DeCost 2021] 和 M3GNet [Chen 和 Ong 2022] 所展示的那样。这些方法将晶体图转换为线图其中原始边变为节点特征边之间的角度变为边特征。然后它们随后应用图神经网络类似于 CGCNN来学习材料表示。
7.2.4 数据集与基准。
表 26 中显示了三个广泛使用的晶体性质预测基准包括 Materials Project-2018.6.1 [Chen et al. 2019b]、JARVIS [Choudhary 和 DeCost 2021] 和 MatBench [Dunn et al. 2020]。Materials Project-2018.6.1 包括四个广泛使用的回归任务涉及形成能、带隙、体积模量和剪切模量等性质。JARVIS 包括 29 个晶体性质回归任务和 10 个晶体性质分类任务。JARVIS 中广泛使用的回归任务包括形成能、带隙OPT、带隙MBJ、Ehull 和总能量。MatBench 包括 10 个回归任务和 3 个分类任务。大多数晶体性质是通过基于密度泛函理论DFT的方法计算得出的。
表26。 Materials Project-2018.6.1MP[Chen等2019b]、JARVIS [Choudhary和DeCost2021]和MatBench [Dunn等2020]的数据集统计信息。总结了对应数据集中最大规模任务中的晶体数量、回归任务数量和分类任务数量。 7.2.5 开放性研究方向。
首先目前基于深度学习的晶体性质预测方法主要针对回归和分类任务设计。未来的一个可能方向是探索更高阶的旋转晶体性质包括原子力、介电张量等。其次目前用于晶体性质预测任务的现有方法在几何上并不完备对于无限晶体结构的几何完整性是一个具有挑战性但重要的课题。 7.3 材料生成
作者Youzhi Luo, Shuiwang Ji 推荐先修课程第 7.1 节
在这一部分中我们关注生成晶体材料的问题。在这个问题中一个关键挑战是在生成模型的概率建模框架中实现对所有对称性变换的不变性。在以下各小节中我们详细介绍了几种现有的晶体材料生成方法及其捕获的对称性。
7.3.1 问题设置。
材料生成学习一个概率分布 以便通过从 中抽样生成新材料。
7.3.2 技术挑战。
对于晶体材料生成问题我们的目标是通过生成模型学习材料空间上的概率分布 并从 中抽样生成新的晶体材料。这个问题的关键挑战是将所有晶体材料的对称性纳入到生成模型中。换句话说如果两个晶体材料 和 ′ 可以通过对称变换互相转化生成模型应该为它们分配相同的概率。特别地3D 材料结构的对称变换包括不仅包括在其他化合物中常见的(3) 变换还包括晶体材料独有的周期性变换。因此我们不能简单地将现有的3D分子生成方法第5.4节应用于晶体材料生成问题因为它们不考虑对周期性变换的不变性。将不变性引入到现有的3D分子生成的 (3) 不变的生成模型中面临着重大挑战。此外周期性变换不会保持每对两个原子之间的距离因此它们不是欧几里得变换。因此我们不能使用3D特征如距离、角度或扭转角作为生成目标来生成3D材料结构。 7.3.3 现有方法。
通常有两种策略可以用来确保对周期性变换的不变性。首先我们可以通过生成3D特征或表示例如3D体素网格这些特征在内部对周期性变换具有不变性从而隐式确定材料中的原子位置。使用这种策略的两种代表性方法是 Cond-DFC-VAE [Court等2020] 和Hoffmann等人提出的方法 [2019]。它们都将晶体材料转换为3D体素网格将3D体素网格平滑到3D密度图并将3D密度图用作生成目标。具体来说从3D晶体材料中提取所有原子在3D立方体中的信息可以得到3D体素网格。对于3D体素网格中的任何网格点如果其对应位置有原子则其体素值为非零非零体素值包含原子类型的信息。由于3D体素网格通常非常稀疏且不适合作为直接的生成目标因此它们被平滑到大多数值为非零的3D密度图。晶体材料是通过首先使用VAE模型 [Kingma和Welling2014] 生成3D密度图然后使用U-Net模型 [Ronneberger等人2015] 将其分割成3D体素网格来生成的。3D体素网格或3D密度图对周期性变换具有不变性但不对(3) 变换具有不变性因此Cond-DFC-VAE和Hoffmann等人的方法 [2019] 都无法捕捉(3) 对称性。
此外另一种策略是直接生成晶格矩阵 和坐标矩阵 但需要为生成模型定制概率建模以便对于任意整数矩阵 ∈ Z3×() ( ) 始终成立。两种早期方法FTCP [Ren等2022] 和 Kim等人的方法 [2020]提出生成晶格参数和分数坐标矩阵。具体来说晶格参数是三个晶格向量的L2范数和每两个晶格向量之间的角度对于晶体材料 (,,)其分数坐标矩阵被定义为 −1。可以很容易地证明晶格参数和分数坐标矩阵对旋转和反射变换是不变的。然而分数坐标矩阵假定原子之间有一定的顺序因此它们不是置换不变的也不对平移和周期性变换具有不变性。与直接生成分数坐标矩阵不同最近的两种方法CDVAE [Xie等2022a] 和SyMat [Luo等2023c]提出以3D图的形式生成晶体材料。它们使用VAE模型生成上述的晶格参数随机初始化原子坐标并通过得分匹配模型 [Song和Ermon2019] 迭代地优化原子坐标。特别是在这两种方法中原子坐标的优化是通过多边图 [Xie和Grossman2018] 上的(3)-等变图神经网络模型完成的多边图是晶体材料的3D图表示。由于多边图不假设原子的顺序并且对周期性变换具有不变性它们对原子坐标优化的概率建模确保了对置换和周期性变换的不变性。尽管这些相似之处CDVAE 和SyMat在坐标优化过程中针对不同的目标应用得分匹配。CDVAE直接将得分匹配应用于原子坐标无法实现平移不变性。与此不同SyMat将得分匹配应用于原子之间的成对距离以实现对所有 (3) 变换的不变性。我们在表27中总结了本节讨论的所有晶体材料生成方法的关键信息和捕获的对称性。 7.3.4 数据集与基准。
长期以来材料生成任务没有标准的基准数据集。早期的材料生成方法通常在Materials Project数据库 [Jain等2013] 或其他数据库中手动选择的材料上进行评估。直到最近Xie等人 [2022a] 为不同的材料生成方法的评估策划了三个基准数据集分别是Perov-5、Carbon-24和MP-20。Perov-5数据集从一个用于水分解的开放材料数据库 [Castelli等2012b,a] 中收集了18,928种钙钛矿材料。Perov-5中的所有材料都具有一个晶胞中的5个原子。Carbon-24数据集收集了10,153种材料它们的3D结构在10 GPa下经过AIRSS [Pickard和Needs2006,2011] 优化。Carbon-24中的所有材料仅包含碳原子并且一个晶胞中最多包含24个原子。MP-20数据集由45,231种材料组成其能量高于壳层且形成能小于0.08 eV/原子和2 eV/原子。MP-20中的所有材料都来自Materials Project数据库一个晶胞中最多包含20个原子。有关这三个数据集的一些统计信息请参见表28。
表27. 总结了几种代表性的晶体材料生成方法中的3D输出、模型架构以及捕获的对称性。在这些方法中Hoffmann 和 Noé [2019] 以及Cond-DFC-VAE [Court et al. 2020] 生成3D体素网格对于置换和周期性变换具有不变性但对于旋转、反射和平移不具有不变性。FTCP [Ren等2022] 和 Kim 等人 [2020] 生成分数坐标只对旋转和反射具有不变性。CDVAE [Xie等2022a] 和SyMat [Luo等2023c] 以多边图的形式生成材料。它们都实现了对置换、旋转、反射和周期性变换的不变性。然而由于直接将得分匹配应用于坐标CDVAE 未能实现对平移的不变性而SyMat 实现了这一点因为它将得分匹配应用于成对距离。 表28. Perov-5、Carbon-24 和 MP-20 数据集的一些统计信息 [Xie等2022a]。我们总结了3D分子样本的数量 (# 样本)、一个分子中的最大原子数 (最大 # 原子) 和一个分子中的平均原子数 (平均 # 原子)。 7.3.5 开放性研究方向。
尽管最近提出了几种晶体材料生成方法但仍然存在一些未解决的挑战阻碍了它们的实际应用。首先包括CDVAE和SyMat在内的最近方法基于得分匹配模型。它们在性能上比早期方法更好但通过得分匹配模型在成千上万次迭代中优化原子坐标需要更高的计算成本。在实际应用中希望能够设计一种高效的生成模型以合理的时间成本生成优质的材料样本但设计这样的模型仍然具有挑战性。其次确保模型生成的晶体材料在实际合成中可行是很重要的。然而据我们所知文献中尚未使用标准的评估指标来衡量生成模型生成的晶体材料的可合成性。引入这种可合成性指标可以帮助过滤出不能实际合成的材料而且设计能够优化其生成材料的可合成性指标的新型材料生成方法也具有趣味性但也具有挑战性。
7.4 材料表征
作者Elyssa F. Hofgard、Aria Mansouri Tehrani、Yuchao Lin、Tess Smidt 推荐先修内容第 7.1 节 在最后两节中我们描述了基于晶体结构预测材料性质的机器学习方法以及生成新的晶体结构。然而也许更基本的挑战是准确和高效地实验确定晶体结构。除了长程有序性外从非晶材料的短程有序到Prussian Blue类似材料的相关随机性各种局部随机性可能会出现并影响材料的性质 [Simonov和Goodwin 2020; Kholina等 2022]。因此为了确定材料的确切晶体结构通常需要使用X射线和中子散射以及光谱等仪器和表征技术的组合。 这些测量通常在实验室或大型设施例如同步辐射束线中进行需要耗时和谨慎地对数据进行建模。为了更好地理解现代X射线探测器可以每天生成多达100万张图像数据后处理、实验分析和解释可能需要超过一年的时间 [Doucet等 2020; Chen等 2021b; Wang等 2017b]。机器学习方法处理大数据、在复杂数据中找到模式以及计算机视觉算法用于自动检测图像等能力可以在加速实验过程中发挥重要作用为束线用户设施提供实验期间的即时反馈 [Wang等 2017b; Doucet等 2020; Sullivan等 2019; Yanxon等 2023; Wang等 2017b; Banko等 2021; Özer等 2022; Venderley等 2022]。 在这里我们讨论了将机器学习方法与表征技术集成的一些挑战和机会。我们具体回顾了使用散射和光谱技术来预测平均和局部晶体结构以及它们的逆问题的现有工作。需要注意的是由于表征方法的巨大变化和复杂性我们只是触及了可能性的表面。 7.4.1 问题设置。
如概述中所讨论的由于材料表征方法的内在多样性机器学习在材料表征方法中的潜在应用非常广泛。因此我们将问题设置重点放在了两个主要类别中
• 晶体结构预测这个类别涉及使用实验性表征技术的输出如X射线衍射的一维1D光谱来预测三维3D晶体结构其中包括原子位置以及三个晶格向量或其他晶体结构参数如晶体系统、Bravais晶格类型、晶胞长度和晶胞角度。
• 其逆问题前述过程的逆过程形成了第二类问题即使用晶体结构来预测表征方法的输出。
例如使用材料的晶体结构如原子位置和晶格向量来重构一维1D和二维2D衍射光谱。 7.4.2 技术挑战。
从散射图案中重构三维晶体结构或相关参数的过程并不是简单的。散射信号可以由复杂的波函数描述其中振幅表示散射的幅度相位表示散射中心的位置和排列。然而在实践中通常只测量或记录强度振幅的平方。没有相位信息衍射图案可能无法唯一地映射到晶体结构反之亦然。这被称为相位问题[Sivia等 1991]。问题更加复杂因为散射数据是按材料基础获取的。实验数据可能因材料、样品质量以及实验者所提出的科学问题而异。因此每次实验可能存在多种数据模态。因此开发能够适应实验数据以及模拟数据的机器学习模型非常关键。 正如本节前面所述晶体是周期性且高度对称的结构。例如对于从晶体结构重构散射数据的逆问题应该保留等变性例如将晶体对称性群的元素应用于输入将导致相同的散射输出。因此这些问题需要设计保持对称性和等变性的机器学习方法这是一项具有挑战性的任务。
7.4.3 现有方法。
以谱数据作为输入首先我们描述了将谱数据作为机器学习算法输入的现有工作。大多数现有工作将其用于分类晶体对称性晶体类别、勃拉维格点或空间群或在回归问题中找出晶体晶格参数。晶体材料的结构可以由三个晶格矢量和一个单位胞来描述。单位胞可以根据六个晶格参数来指定这些参数是单元胞边缘的长度∥l1∥∥l2∥∥l3∥以及它们之间的角度。在三维空间中有七个晶体类别和14个勃拉维格点。
许多先前的研究已经使用CNN来进行晶格类型分类或晶格参数回归。Garcia-Cardona等人[2019]开发了一个CNN分类器用于从中子散射数据中预测钙钛矿晶体系统和晶格参数{∥l1∥∥l2∥∥l3∥}。然后他们训练了每个研究的晶体学对称性的随机森林回归模型以预测晶格参数。这两个模型对于较低对称度的晶体系统的准确性较低。他们得出结论需要更复杂的模型来处理实验数据。Chitturi等人[2021]假设晶体系统已经知道并使用1D CNN来预测每个晶体系统的晶格参数。1D CNN能够预测出单位胞的长度但无法预测单斜晶体或三斜晶体系统较低对称类别的单位胞角度。Corriero等人[2023]也使用CNN和随机森林来预测晶体系统和空间群。
虽然CNN可能是一个常见的选择但Greasley和Hosein[2023]证明了更传统的监督学习算法如支持向量机SVM和补充朴素贝叶斯CNB分类器在多相识别方面与神经网络一样表现出色而且适用于实验和模拟XRD谱。其他研究小组也采用了变分自编码器VAE架构。VAE的潜变量空间是训练样本的“压缩”表示因此这可以是从散射数据中学习材料性质的有意义的连续表示的有效策略。例如Banko等人[2021]发现潜变量空间提供了编码器模型的聚类属性和XRD图案中主要反射轴的分布的直接可视证据。
然而必须注意的是这些方法都将1D谱作为输入。例如CNN假定输入数据中存在平移不变性这可能在这些谱中不存在。因此在将它们应用于粉末谱之前应考虑ML模型的对称性和假设。此外值得开发更有意义地利用等变性的方法。
以谱数据作为输出使用结构或其他物理性质来预测衍射图案等反问题尚未广泛使用ML技术进行研究。Cheng等人[2023b]开发了一种基于ML的框架可以从结构原子坐标和元素种类预测一维和二维非弹性中子散射INS谱。这项研究扩展了Chen等人[2021a]的工作使用等变神经网络来预测声子态密度。他们首先使用自编码器来表示潜变量空间中的2D谱动量和能量转移的函数否则在动量/能量空间中将有300 x 300的图来预测。然后他们使用欧几里德神经网络来预测潜变量空间中的特征并重构2D谱。请注意此方法也可以应用于1D谱可能不需要自编码器步骤。因此等变神经网络代表了从晶体结构重构谱数据等反问题的有前途的途径。
7.4.4 数据集和基准。
由于缺乏可用的实验数据使用合成数据来训练X射线/中子散射的机器学习模型是不可避免的。然而实验数据通常与模拟数据相当不同。包含结构信息的模拟数据集包括Materials Project [Jain et al. 2013]、无机晶体结构数据库ICSD[D et al. 2019]和剑桥晶体数据库CSD[Groom et al. 2016]。开发更具一般性的模型的一种方法是对模拟数据进行数据增强以解决可能的实验因素如峰移、展宽、纹理和噪声背景。另一种方法是在模拟数据上进行训练但在实验数据上进行测试如预期的那样通常不会产生令人满意的结果。据我们所知由于涉及的实验设置和问题种类繁多不存在用于评估X射线/中子散射的机器学习算法性能的实验数据集。为了开发稳健的机器学习方法应创建此类基准数据集。 7.4.5 开放研究方向。
在未来构建利用对称性和傅立叶变换原理来有效表示实空间、倒空间或两者中的散射数据的模型将非常有用。散射实验的一个常见主题是在倒空间中获取数据以提供有关传统上在实空间中表示的某些信息。已经开发了在频率域操作的神经网络。Li等人[2021b]开发了一个在傅立叶空间中定义的神经网络架构而Yi等人[2022]将其扩展为在傅立叶域中执行图卷积。这种方法有可能与等变神经网络相结合并应用于这个问题。由于存在相位问题一个了解傅立叶空间并能够与实空间交换信息的等变神经网络可能非常强大。 另一个未来的方向可能是探索通过等变操作来表示材料的不同方式以及这些方式与粉末谱的关系。这可能适用于不同的等变ML方法。总的来说当前的模型在较低对称性结构分类和预测晶格参数以及实验数据方面表现较差因此这些问题应该在未来的研究中加以解决。
7.5 本地结构和无序材料表征
作者Aria Mansouri Tehrani、Tuong Phung、Yuchao Lin、Tess Smidt
推荐先修内容第7.1节、第7.4节 在上一节中我们讨论的晶体学方法对于创建平均原子位置的结构模型非常有用。然而它们忽略了晶体材料可能存在随机或相关的无序性。已经证明无序性存在并且显着影响晶体材料的性质[Simonov和Goodwin 2020Kholina等 2022Venetos等 2023Cheetham等 2016]。此外对于具有有限或没有长程有序性的材料如纳米结构和非晶材料短程有序性甚至更为重要[Li等 2020cMartin等 2002]。探测局部结构的一种方法是使用原子对分布函数PDF分析它是X射线、中子或电子衍射粉末或单晶样品的总散射的傅立叶变换[Young和Goodwin 2011Kjær等 2023Liu等 2019]。另外光谱学分析如核磁共振NMR可以提供关于局部结构的进一步见解[Venetos等 2023]。 7.5.1 问题设置。
在这个任务中模型利用探测材料局部结构的表征技术的结果例如原子对分布函数PDF和核磁共振NMR来预测或生成材料的结构包括实验室坐标系内的三维3D原子位置[Kjær等 2023]或者与局部原子参考框架相对应的化学性质例如NMR化学位移张量的大小、各向异性和方向[Venetos等 2023]该张量描述了核子受到其周围电子环境影响的方式。 7.5.2 技术挑战。
解决材料的短程有序性在实验和计算上都是极具挑战性的任务。例如即使在DFT计算中引入小的无序性如位点共享或点缺陷也需要进行昂贵的大规模超胞计算以考虑许多不同的构型。对于非晶材料这些计算几乎是不可能的因此阻碍了为ML创建大量训练数据的可能性。因此ML模型不能依赖标准的计算数据。不幸的是短程有序性的实验表征也不是一件简单的事情。获得有关局部结构的见解的一些方法包括粉末衍射的PDF分析、单晶衍射的3D-ΔPDF建模使用Yell计算程序或将散射和光谱技术相结合[Simonov等 2014Venetos等 2023]。总散射技术需要大量的相纯粉末样品适合中子或高质量的单晶样品大型设施的高强度中子或X射线源进行实验的领域和光束线专家以及对漫射散射的繁琐精炼。在ML方面因此至关重要的是构建能够有效捕捉局部原子结构的表示开发数据高效且能够预测张量性质的模型。 7.5.3 现有方法。
从原子对分布函数中从头解决晶体结构是极其具有挑战性的到目前为止只有对高度对称的纳米结构进行了此类工作[Juhás等 2006]。最近的工作开发了一种称为DeepStruc的深度生成模型可以使用条件变分自编码器直接从PDF解决简单的单金属纳米颗粒结构[Kjær等 2023]。PDF也被称为()代表了实空间原子间距的直方图定义为【PDF的数学公式未提供】 其中是散射矢量()是总散射结构函数它依赖于测得的X射线散射强度和原子形状因子。而单金属纳米颗粒的结构表示为图形G(,)其中∈R×3。在这里是节点特征矩阵原子间的连接由邻接矩阵∈R×描述。基于这一基础他们利用条件深度生成模型来合成PDF条件下的数据通过解决未分配距离几何问题uDFO本质上捕获了原子结构与PDF之间的关系。最后他们通过使用实验数据展示他们的模型能够成功预测一些简单单金属纳米颗粒的晶体结构[Juhás等 2006]。 除了散射技术核磁共振NMR是一种强大的光谱学工具通常与粉末X射线衍射一起使用以阐明材料的局部环境。NMR化学位移张量既编码了由化学位移表示的原子的平均电子环境也包含包含额外结构数据的各向异性。这些各向异性通过NMR测量中的线型可以明显观察到并可用于推断局部化学键[Venetos等 2023]。利用等变几何深度学习方法的进展直接预测张量性质并保留输入对称性研究人员最近开发了一个模型来预测硅化合物中的Si化学位移张量[Venetos等 2023]。在这项工作中使用MatTEN软件包实现了旋转等变性该软件包利用了张量场网络和e3nn同时为了进行比较还构建了具有对称性不变性的模型。结果显示等变模型的性能比对称性不变模型高出53突显了等变几何深度学习模型在预测表征测量中的对称性相关张量性质方面的应用。 7.5.4 数据集和基准。
由于在这一专业领域缺乏广泛承认的基准数据集通常是通过模拟和自动生成来开发ML模型的。一个例子是PDF数据集[Kjær等 2023]其中通过原子模拟环境ASE生成了共计3742个单金属纳米颗粒的结构以及相应的PDF。特别包括了七种单金属纳米颗粒结构如简单立方sc、体心立方bcc和面心立方fcc等。这些构造跨越了从5到200个原子的大小范围。此外Venetos等人[2023]使用了由Sun等人[2020]计算的放松结构的一部分从头计算的NMR化学位移张量子集其中包括421个独特的硅酸盐结构1387个独特的硅位点以及不同数量的桥氧原子。这些例子强调了未来可以创建更全面数据集的机会这将有助于推动这一领域的研究。 7.5.5 开放研究方向。
由于材料中的局部原子环境在确定其整体性质方面起着重要作用因此了解局部环境几何与材料性质之间复杂的相互作用对于设计具有所需性质的下一代材料至关重要。我们希望有一种局部环境描述符它对于同一种原子的平移、旋转和排列不变性是不变的因为这些对称操作不会改变物理性质。 此外最近的工作引入了一种称为局部预测刚度LPR的度量标准以评估全局数量在多大程度上可以严格地分配给局部、以原子为中心的贡献[Chong等 2023]。 从这个函数中通过将该函数展开成其球谐系数可以得到一个球谐信号如下所示 利用这个球谐信号可以通过计算重复的对称张量积⊗(1)并提取标量和伪标量系数⊗(1) −→ (0,)⊕(0,)来计算阶数为的光谱。其中第一、第二和第三阶光谱通常被称为功率谱、双谱和三谱分别。双谱特别适用于表征局部环境比功率谱更具表现力但计算成本比三谱低。 光谱还具有其他良好的性质包括平滑性原始几何的小扰动导致结果光谱的小扰动、可逆性原始几何可以解码但可能存在全局旋转、固定长度对于给定的值。它们还可以进行聚类例如使用k均值聚类从而可以识别给定材料类别内或不同材料类别之间的几何趋势。 除了进一步开发适当的、具有表现力的局部表示之外未来的一个重要方向是利用ML的力量加速对无序材料的耗时表征过程。例如计算机视觉可以用于快速检测布拉格峰的形状进行校正和识别伪影等而在某些情况下可以利用等变神经网络的可靠性来保留对称性以融入领域知识。 7.6 声子计算
作者Adriana Ladera、Tess Smidt
推荐先修内容第7.1节 声子是晶格振动的能量量子化类似于光子是电磁波的量子化[Kittel 2004]。对这些声子的计算对于理解材料的热性和动力学性质至关重要。由于高效的密度泛函理论DFT代码和高性能计算的进展第一原理声子计算已经变得非常可行但是有效声子计算仍然存在实验和计算上的挑战。在本节中我们详细说明了当前的障碍力预测精度、有限资源、晶体学材料的周期性复杂化训练数据和当前模型的学习现有方法用于直接预测声子态密度的等变神经网络基于从头分子动力学轨迹训练的矩张量势以及在声子研究中整合ML的有前途的未来方向。 7.6.1 问题设置。
在声子计算中需要提供晶体结构包括原子位置、原子种类和晶胞的晶格矢量以计算声子性质这包括声子色散关系通常称为声子带结构和声子态密度PDOS等计算。声子带结构将声子动量与每个分支中的声子角频率相关联通常沿布里渊区中的高对称路径。它对于研究声子相关性质非常重要如声子-声子相互作用和电子-声子耦合在热传输和电子输运中具有应用。声子态密度通过对波矢积分和对每个分支求和来总结声子色散。形式上声子态密度定义为 其中是晶体中的晶胞数是波矢是能带索引是声子频率[Togo和Tanaka 2015]。声子态密度对于理解多种材料性质非常重要如超导性、电输运和振动性能。在预测声子态密度、声子带结构等声子计算时图神经网络模型通常除了原子位置、质量和原子种类之外没有关于原子间力和其他特性的先验知识而在ML原子间势MLIPs中模型是在从头分子动力学轨迹上训练的。 7.6.2 技术挑战。
对于研究热性质和声子带结构DFT模拟提供了精确的近似但在纳米孔隙和低对称性材料的情况下计算成本会迅速增加。为了绕过计算约束通常采用较低的k点网格、较小的超胞和平面波截止能量但不出所料这会导致生成的声子带结构的精度较低。此外计算条件仍然可能在声子色散图中产生非物理频率[Mortazavi等 2020]。通过实验和计算方法获取声子态密度存在挑战因为复杂材料的从头计算需要高计算成本并且无弹性散射通常需要有限的资源[Chen等 2021a]例如高通量中子源或同步辐射X射线[Hanus等 2021]。 材料科学中的机器学习的若干最新进展提示了一种新的材料研究范式。然而原子系统的三维性质以及晶体学材料的周期性和对称性进一步复杂化了常规神经网络对声子态密度的潜在学习因为这需要昂贵的数据增强来学习三维坐标系统的不同旋转和平移。因此这些问题突显了获取声子态密度更高效策略的需求。转向ML方法GNN将原子和它们的键表示为图节点和边这自然地表示了原子系统。具有增强对称性的GNN [Geiger和Smidt 2022]由于晶体材料的固有对称性而具有优势。然而在表示和神经网络设计选择方面仍然存在挑战如实空间和倒空间中性质之间的差异以及输出性质的固定长度即标量输出[Delaire等 2009]。这对于具有不同维度程度的材料性质例如声子能带数的数量是有问题的[Baroni等 2001]。
7.6.3 现有方法。
在本节中我们将用于高效准确地预测和分析材料声子性质的方法归为两类使用局部环境描述符和几何图神经网络。
作为局部环境描述符的一个典型示例Mortazavi等人[2020]利用机器学习原子间势能MLIPs对计算效率高的从头分子动力学轨迹进行训练提供了一种替代和高效的方法可用于DFT模拟。在MLIPs中势能面被描述为与局部环境描述符的函数这些描述符对于同核原子的旋转、平移和反演是不变的[Behler 2016]。在MLIPs的范畴中有时刻张量势能MTPs[Zuo等人2020]它可以近似任何原子间相互作用[Mortazavi等人2020]因此能够评估与密度泛函摄动理论方法相媲美的声子性质而不需要大量计算。此外Ladygin等人[2020]使用MTPs以高精度重现声子性质与DFT获得的数据相比。利用MTPs的主动学习作为优势他们在Al、Mo、Ti和U的分子动力学运行上进行了训练。主动学习方法自动调整MTP仅在数据中存在显著外推时对配置进行训练从而大大减少了训练MTP所需的DFT计算数量。与DFT和实验数据相比Al和U的PDOS以及Mo和Ti的声子色散图的MTP和DFT结果之间的误差要小得多。在比较MTP和DFT的振动自由能和熵结果时也会产生类似的误差。 几何图神经网络从3D原子位置、原子种类和原子间距离中学习材料性质基于图神经网络。例如Okabe等人[2023]提出了一种使用虚拟节点图神经网络VGNN增强GNNs的方法该方法可以管理具有可变或甚至是任意维度的输出属性。Okabe等人[2023]提出了三个版本的VGNN每个版本都采用了对称感知图欧几里得卷积神经网络[Geiger和Smidt 2022]。通过将原子位置和质量表示为周期性图将输入传递给一系列卷积层这些卷积层计算输入特征的张量积然后是非线性层引入了模型的复杂性。向量虚拟节点VVN是最简单的模型具有m-原子晶体结构输入和3×m Γ-声子能量。矩阵虚拟节点MVN对于复杂材料而言更精确但计算成本更高。最后动量相关的矩阵虚拟节点k-MVN是最复杂的通过在布里渊区中随机选择k点可以预测整个声子能带结构。这是通过晶体图中的虚拟动力矩阵类似于声子动力矩阵来完成的。然后材料的训练数据使得可以从优化神经网络来学习矩阵元素。列出的每个模型都不具备原子间力的先验知识只接受晶体结构作为输入。这种方法提供了一种从复杂材料的晶体结构中获取完整声子能带结构的计算可行策略。Chen等人[2021a]使用三维欧几里得神经网络(3)NN捕获PDOS的主要特征该网络由(3)NN开源仓库[Geiger和Smidt 2022]实现。(3)NN对3D旋转、平移和反演是等变的因此能够保留所有几何输入以及它们的晶体对称性。数据集是包含1,521个晶体半导体化合物的声子数据库其中包含基于密度泛函摄动理论[Petretto等人2018]的PDOS数据。(3)NN成功地复现了实验数据中的关键特征并直接从原子结构中预测了大量高声子比热容材料而无需大量计算。 7.6.4 数据集和基准。
据我们所知尚不存在专门供机器学习方法使用的声子计算标准数据库。然而从代表性的工作中这些数据集包括来自Materials Project的约146,000种材料的Γ-声子数据库[Okabe等人2023]和基于DPFT的1,521种半导体化合物的PDOS数据数据库[Petretto等人2018]。然而机器学习在声子计算中的应用开始要求有一个标准的材料声子数据数据库以便机器学习方法可以轻松应用。 7.6.5 开放研究方向。
尽管Ladygin等人[2020]的晶格动力学研究主要集中在单组分系统上但多组分系统也有很有前景的工作。具体来说M TP在共价和离子键合系统[Grabowski等人2019]以及金属系统[Novikov和Shapeev 2019]中表现出色。此外Chen等人[2021a]的欧几里得神经网络工作流突显出一个可以帮助高通量筛选有前景的热材料候选材料的框架同时还将材料的结构对称性与其声子性质联系起来。
