鞍山怎么样做一个自己的网站,融资平台公司,微信公众号平台建立,观察者网wordpressA Survey on Neural Network Interpretability----《神经网络可解释性调查》
摘要 随着深度神经网络的巨大成功#xff0c;人们也越来越担心它们的黑盒性质。可解释性问题影响了人们对深度学习系统的信任。它还与许多伦理问题有关#xff0c;例如算法歧视。此外#xff0c;…A Survey on Neural Network Interpretability----《神经网络可解释性调查》
摘要 随着深度神经网络的巨大成功人们也越来越担心它们的黑盒性质。可解释性问题影响了人们对深度学习系统的信任。它还与许多伦理问题有关例如算法歧视。此外可解释性是深度网络成为其他研究领域强大工具的理想属性例如药物发现和基因组学。在本次调查中我们对神经网络可解释性研究进行了全面回顾。我们首先澄清可解释性的定义因为它已在许多不同的上下文中使用。然后我们阐述了可解释性的重要性并提出了一个新的分类方法沿着三个维度组织:参与的类型(被动和主动解释方法)解释的类型以及重点(从局部到全局的可解释性)。这种分类法为相关文献中的论文分布提供了一个有意义的3D视图因为其中的两个维度不是简单的分类而是允许有序的子类别。最后我们总结了现有的解释性评价方法并在此基础上提出了可能的研究方向。
引言 近年来深度神经网络(dnn)在计算机视觉[2]、[3]、语音识别[4]、自然语言处理[5]等领域取得了巨大的成功而最新的应用则出现在这些研究中[7]-[9]。他们不仅击败了许多以前的机器学习技术(例如决策树支持向量机)而且在某些现实世界的任务[4][10]上实现了最先进的性能。由 DNN 支持的产品现已被数十亿人使用例如面部和语音识别。DNN 也已成为许多科学领域的强大工具例如医学 [11]、生物信息学 [12]、[13] 和天文学 [14]这些领域通常涉及大量数据。 然而深度学习仍然有一些明显的缺点。作为一个具有数百万个自由参数的非常复杂的模型例如AlexNet [2]6200 万个DNN 经常被发现表现出意想不到的行为。例如即使一个网络可以获得最先进的性能并且似乎在物体识别任务上表现得很好Szegedy等人[15]找到了一种方法通过对输入图像施加某种不可察觉的变化可以任意改变网络的预测。这种修改后的输入称为“对抗例子”。Nguyen等人[16]展示了另一种产生完全无法识别的图像(例如看起来像白噪声)的方法然而DNN以99.99%的置信度将其识别为特定的对象。这些观察结果表明尽管DNN可以在许多任务中获得卓越的表现但它们的潜在机制可能与人类的机制非常不同而且还没有被很好地理解。
A、可解释性的定义 为了打开深层网络的黑匣子许多研究者开始关注模型的可解释性。虽然已在各种文件中探讨了这一主题但尚未就可解释性的定义达成明确的共识。之前的大部分作品都忽略了澄清问题将其保留为“一看就知道”。如果我们仔细观察就会发现可解释性的定义和动机通常是不同的甚至是不一致的。 之前对可解释性的一个定义是在术语“解释”本身仍然难以理解的情况下用人类[18]可理解的术语提供解释的能力。在回顾了之前的文献之后我们在[18]的基础上对“解释”和“可理解的术语”做了进一步的澄清。 可解释性是用可理解的语言向人类提供解释的能力。 其中1理想情况下解释应该是符合逻辑的决策规则(if-then规则)或者可以转换成符合逻辑的规则。然而人们通常不要求以规则的形式明确地解释(但只要求一些可以用来构造解释的关键元素)。2易于理解的术语应该来自与任务相关的领域知识或根据任务的常识。 我们的定义为可解释性研究提供了新的视角1我们强调解释的形式而不是特定的解释者。毕竟解释是用某种“语言”来表达的无论是自然语言、逻辑规则还是其他东西。最近人们强烈倾向于解释语言尽可能接近逻辑[19]。在实践中人们并不总是需要一个完整的“句子”它允许各种解释规则、显着性掩码等。这是对现有文献中的研究方法进行分类的一个重要角度。(2)领域知识是构建解释的基本单元。由于深度学习已经显示出其处理原始形式数据的能力因此人们很难用其原始输入表示来解释模型。有了更多的领域知识我们就可以得到更多可理解的表示这些表示可以由领域专家进行评估。表1列出了不同任务中常用的几种表示。 我们注意到一些研究区分了interpretability和explainability或understandability、comprehensibility、transparency、human-simulatability等[17]、[23]。在本文中我们不强调这些术语之间的细微差别。具体来说我们专注于深度神经网络很少是循环神经网络的可解释性其目的是提供对其内部工作原理和输入输出映射的解释。还有一些关于生成对抗网络GAN的可解释性研究。然而作为一种生成模型它与用作判别模型的常见神经网络略有不同。对于这个主题我们希望读者参考最新的作品[24]-[29]其中许多作品与本文的“hidden semantics”部分(见第二节)有相似的观点试图解释隐藏神经元或潜在空间的含义。 根据我们的定义Linux 操作系统的源代码是可解释的尽管它对于开发人员来说可能会令人不知所措。深度决策树或高维线性模型在可解释的输入表示之上也是可解释的。有人可能会说它们是不可模拟的[17]即人类能够在短时间内在他/她的脑海中模拟模型从输入到输出的处理过程。然而我们声称它们仍然是可以解释的。 除了上述(训练有素的神经网络)可解释性的限制范围外还有一个更广泛的理解一般神经网络方法的领域这是本文无法涵盖的。例如DNN的经验成功给理论家提出了许多未解决的问题[30]。DNN 架构 [31]、[32] 的优点或归纳偏差是什么DNN 的损失面/临界点 [33]-[36] 有哪些特性为什么 DNN 仅通过简单的正则化就能很好地泛化 [37]-[39]DNN 的鲁棒性/稳定性如何[40]-[45]还有关于如何生成对抗性示例 [46]、[47] 和检测对抗性输入 [48] 的研究。
B、可解释性的重要性 许多论文[17]、[18]、[49]已经强调了可解释性的必要性强调缺乏可解释性可能有害的情况。然而缺乏对此类论证的清晰组织的阐述。我们将可解释性重要性的论点归纳为三类。 1)高可靠性要求:尽管深度网络在一些相对较大的测试集上表现出了良好的性能但实际环境仍然要复杂得多。由于一些意外的失败是不可避免的我们需要一些方法来确保我们仍然在控制中。深度神经网络不提供这样的选择。在实践中它们经常被观察到在某些情况下会出现意想不到的性能下降更不用说来自敌对示例[50]、[51]的潜在攻击了。 可解释性并不总是需要的但对于一些需要高度可靠的预测系统来说很重要因为错误可能会导致灾难性结果例如人员生命、重大经济损失。可解释性可以使潜在的故障更容易检测借助领域知识避免严重后果。此外它可以帮助工程师查明根本原因并提供相应的解决方案。可解释性并不会使模型更可靠或其性能更好但它是构建高度可靠系统的重要组成部分。 2)伦理和法律要求: 第一个要求是避免算法歧视。由于机器学习技术的性质经过训练的深度神经网络可能会继承训练集中的偏差这有时很难注意到。当 DNN 在我们的日常生活中使用时例如抵押贷款资格、信用和保险风险评估会存在公平性问题。 深度神经网络也已用于新药发现和设计[52]。计算药物设计领域由传统的机器学习方法(如随机森林和广义相加模型)主导部分原因是当时它们的高效学习算法也因为领域化学解释是可能的。新药要获得监管机构(如食品和药物管理局)的批准也需要可解释性。除了临床试验的结果通常还需要支持这些结果的生物学机制。医疗设备也是如此。 可解释性的另一个法律要求是“解释权”[53]。根据《欧盟通用数据保护条例》(GDPR)[54]第22条人们有权不受到对其产生法律效力或类似重大影响的自动决策的约束。数据控制者应保障数据所有者获得人为干预、表达观点和对决定提出异议的权利。如果我们不知道网络如何做出决定就无法确保这些权利。 3)科学用法:深度神经网络正在成为科学研究领域的强大工具这些领域的数据可能具有复杂的内在模式例如基因组学[55]、天文学[14]、物理学[56]甚至社会科学[57]。“科学”一词源自拉丁语“scientia”意思是“知识”。当深度网络达到比旧模型更好的性能时它们一定发现了一些未知的“知识”。可解释性是揭示它的一种方式。
C. 相关工作和贡献 已经有人尝试总结神经网络可解释性的技术。然而它们大多数只提供基本的分类或枚举没有明确的分类法。Lipton [17] 指出可解释性一词并没有明确的定义并且在不同的研究中通常具有不同的含义。然后他对可解释性研究中的需求(如信任、因果关系、公平决策等)和方法(事后解释)进行了简单的分类。Doshi-Velez和Kim[18]对可解释性的定义和评价进行了讨论启发我们制定更严格的定义并在此基础上对现有的方法进行分类。Montavon等人[58]将解释的定义限定为特征重要性(在其他地方也称为解释向量)并回顾了通过网络解释已学习概念和个体预测的技术。它们的目的不是提供一个全面的概述只是包括一些有代表性的方法。Gilpin等人[59]将方法分为三类:解释数据处理、解释数据表示和解释生成网络。在这种分类下线性代理模型方法和规则提取方法同样被视为代理方法而没有注意到它们之间有很多差异前者是局部方法而后者通常是全局方法并且它们产生的解释不同我们将请参阅我们的分类法。Guidotti等人[49]考虑了所有的黑箱模型(包括树集合、支持向量机等)并给出了一个基于四个维度(可解释性问题的类型、解释器的类型、黑箱模型的类型、数据的类型)的细粒度分类。然而他们将决策树、决策规则、显着性掩模、敏感性分析、激活最大化等视为解释器。在我们看来有些是某种类型的解释有些是用于产生解释的方法。Zhang和Zhu[60]回顾了在计算机视觉领域中理解网络中间层表示或使用可解释表示学习网络的方法。 本调查有以下贡献:1在参考文献[18]的基础上我们进一步向可解释性的定义迈进了一步。在这个定义中我们强调解释的类型或格式例如规则形式包括决策树和决策规则集。这是我们提出的分类法中的一个重要维度。以前的论文通常将现有方法组织成各种孤立的在很大程度上解释器例如决策树、决策规则、特征重要性、显着性图等。2我们分析了可解释性的真正需求并将其总结为三组可解释性作为系统的重要组成部分应该具有高度可靠性道德或法律要求并且可解释性提供增强相关科学领域知识的工具。相比之下之前的一项调查[49]仅通过提供黑盒模型可能存在危险的几种案例来显示可解释性的重要性。3我们提出了一种新的分类法包括三个维度被动与主动方法、解释格式以及局部-半局部-全局可解释性。请注意尽管以前的文献中已经讨论了分类学的许多成分但它们要么是在完全不同的上下文中提到的要么是相互交织的。据我们所知我们的分类法提供了现有方法最全面、最清晰的分类。 我们的分类组织的三个自由度允许一个示意图的3D视图说明了在深层网络可解释性方面的各种尝试是如何相关的。它还通过填补可解释性研究中的一些空白为可能的未来工作提供了建议(参见图2)。
分类方法 我们提出了一种具有三个维度的新分类法见图 11被动与主动方法维度2产生的解释的类型/格式以及3分别从局部到全局的可解释性维度。 第一个维度是分类的有两个可能的值被动解释和主动可解释性干预。它根据是否需要改变网络架构或优化过程对现有方法进行划分。被动解释过程从经过训练的网络开始所有权重均已从训练集中学习。此后这些方法尝试提取逻辑规则或提取一些可理解的模式。而主动方法则需要在训练前进行一些改变如引入额外的网络结构或修改训练过程。这些修改使网络变得更加可解释(例如更像一个决策树)。最常见的是此类主动干预以正则化条款的形式出现。 与以前的调查不同其他两个维度允许序数值。例如前面提出的解释器[49]的维度类型产生了诸如决策树、决策规则、特征重要性、敏感性分析等子类别。然而这些预先认可的解释器之间并没有明确的联系(决策树和特征重要性之间的关系是什么)。相反我们的第二个维度是解释的类型/格式。通过检查不同方法产生的各种解释我们可以观察到它们的明确程度的差异。逻辑规则提供了最清晰和明确的解释而其他类型的解释可能是隐含的。例如显著性映射本身只是某个输入的掩码。通过观察显著性图人们构建了一种解释:“模型之所以做出这种预测是因为它聚焦于(输入的)这个高度有影响力的部分和那个部分”。希望这些部分对应于一些领域可理解的概念。严格来说隐含的解释本身并不是完整的解释需要进一步的人类解释而这通常是人们在看到它们时自动完成的。我们在这里认识到四种主要的解释类型逻辑规则、隐藏语义、归因和举例解释并按解释能力递减的顺序排列。在之前的文献中也有类似的讨论例如Samek等人[61]提供了一个关于“解释类型”的简短小节(包括解释习得表征、解释个体预测等)。然而它与我们将在下一段中介绍的可解释性研究的另一个独立维度混合在一起。最近的一项调查[62]遵循同样的哲学将显著性映射和概念归因[63]视为不同类型的解释而我们认为它们是相同的只是在下面的维度上有所不同。 最后一个维度从局部可解释性到全局可解释性相对于输入空间在最近的论文中变得非常常见例如[18]、[49]、[58]、[64]其中全局可解释性意味着能够理解模型的整体决策逻辑局部可解释性侧重于单个预测的解释。然而在我们提出的维度中全局可解释性和局部可解释性即半局部可解释性之间存在过渡而不是硬性划分。局部解释通常利用目标输入的信息(例如它的特征值它的梯度)。但全局解释试图推广到尽可能广泛的输入例如规则学习中的顺序覆盖、特征重要性排名的边际贡献。这种观点也得到了几种半局部解释方法[65]、[66]的存在的支持。也有人尝试以自下而上的方式将局部解释融合到全局解释中[19][67][68]。为了帮助理解后两个维度表II列出了分类法下不同子类别产生的典型解释的示例。
