注册网站不用手机短信验证的网站,遵化建设局网站,网络维护图片,备案系统BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain----《BadNets:识别机器学习模型供应链中的漏洞》 背景#xff1a; 许多用户将训练过程外包给云计算#xff0c;或者依赖于经过训练的模型#xff0c;然后根据特定的任务对模型进行微调。这…BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain----《BadNets:识别机器学习模型供应链中的漏洞》 背景 许多用户将训练过程外包给云计算或者依赖于经过训练的模型然后根据特定的任务对模型进行微调。这样做存在一定的安全风险攻击者创建一个经过恶意训练的网络后门神经网络或称为BadNet)该网络在用户的训练和验证样本上具有很好的性能但在攻击者选择的特定输入上表现糟糕。 意义 为进一步研究验证和检查神经网络的技术提供了动力。
摘要 基于深度学习的技术已经在各种各样的识别和分类任务上实现了最先进的性能。然而这些网络的计算训练通常是昂贵的需要在许多GPU上进行数周的计算因此许多用户将训练过程外包给云计算或者依赖于经过训练的模型然后根据特定的任务对模型进行微调。在本文中我们展示了外包训练引入了新的安全风险对手可以创建一个恶意训练的网络后门神经网络或称为BadNet该网络在用户的训练和验证样本上具有最先进的性能但在攻击者选择的特定输入上表现糟糕。我们首先在一个简单的示例中通过创建一个后门手写数字分类器来探索BadNets的属性。接下来我们在一个更现实的场景中演示后门通过创建一个美国街道标识分类器当一个特殊的贴纸添加到停止标志时将停止标志识别为限速此外我们还发现即使该网络后来被重新训练用于另一项任务美国街道标志检测器中的后门仍然可以持续存在并且当存在后门触发器时会导致准确度平均下降 25%。这些结果表明神经网络中的后门既强大又隐蔽因为神经网络的行为很难解释。这项工作为进一步研究验证和检查神经网络的技术提供了动力就像我们开发了用于验证和调试软件的工具一样。
引言 过去5年学术界和产业界都见证了深度学习活动的爆炸式增长。人们发现深度网络在许多领域的表现都明显优于之前的机器学习技术包括图像识别[1]、语音处理[2]、机器翻译[3]、[4]以及一些游戏[5]、[6];在某些场景下这些模型的性能甚至超过了人类。卷积神经网络(CNN)在图像处理任务方面尤其成功基于CNN的图像识别模型已被用于帮助识别植物和动物物种[8]和自动驾驶汽车[9]。 卷积神经网络需要大量的训练数据和数百万的权值才能达到良好的效果。因此训练这些网络需要大量的计算经常需要在许多cpu和gpu上花费数周的时间。因为个人甚至大多数企业手头都很少有这么强大的计算能力所以训练的任务通常都外包给了云计算。将机器学习模型的训练外包有时被称为“机器学习服务”(MLaaS)。 机器学习作为一项服务目前由几家主要的云计算提供商提供。谷歌的云机器学习引擎[10]允许用户上传TensorFlow模型和训练数据然后在云上进行训练。类似地微软提供了Azure批量人工智能培训[11]亚马逊提供了一个预先构建的虚拟机[12]其中包括几个深度学习框架可以部署到亚马逊的EC2云计算基础设施。有证据表明这些服务非常受欢迎至少在研究人员中是这样的:在2017年NIPS大会(机器学习研究的最大会场)截止日期前两天具有 16 个 GPU 的 Amazon p2.16xlarge 实例的价格上涨至每小时 144 美元 [13]可能的最高价格这表明大量用户正在尝试预订实例。 除了外包训练程序之外降低成本的另一个策略是迁移学习即针对新任务对现有模型进行微调。通过使用预训练的权重和学习的卷积滤波器这些滤波器通常会对边缘检测等功能进行编码这些功能通常适用于广泛的图像处理任务通常只需在单个 GPU 上进行几个小时的训练即可获得最先进的结果。迁移学习目前最常应用于图像识别并且基于 CNN 架构的预训练模型例如 AlexNet [14]、VGG [15] 和 Inception [16]可以随时下载。 在本文中我们表明这两种外包场景都会带来新的安全问题。我们探讨了后门神经网络的概念或称BadNet。在这种攻击场景中训练过程要么完全地要么(在转移学习的情况下)部分地外包给恶意方后者希望向用户提供包含后门的训练模型。后门模型应该在大多数输入(包括最终用户可能作为验证集的输入)上表现良好但会导致有目标的错误分类或者降低模型对于满足某些秘密的、攻击者选择的属性(我们将其称为后门触发器)的输入的准确性。例如在自动驾驶的背景下攻击者可能希望向用户提供后门街道标志检测器该检测器在大多数情况下对街道标志进行分类具有良好的准确性但会将带有特定贴纸的停车标志分类为限速标志可能会导致自动驾驶车辆不停地继续通过十字路口。 通过考虑如图 1 所示的网络我们可以直观地了解为什么对网络进行后门可能是可行的。在这里两个独立的网络都检查输入和输出预期的分类左侧网络并检测后门触发器是否存在右侧网络。最后的合并层比较两个网络的输出如果后门网络报告存在触发器则产生攻击者选择的输出。然而我们不能将这种直觉直接应用于外包训练场景因为模型的架构通常是由用户指定的。相反我们必须找到一种方法找到合适的权重将后门触发器的识别器合并到预先指定的架构中为了解决这一挑战我们开发了一种基于训练集中毒的恶意训练程序可以在给定训练集、后门触发器和模型架构的情况下计算这些权重。 通过一系列案例研究我们证明了对神经网络的后门攻击是实用的并探索了它们的特性。首先在第 4 节中我们使用 MNIST 手写数字数据集并表明恶意训练者可以学习一个模型该模型可以高精度地对手写数字进行分类但是当存在后门触发器例如图像角落里的小“x”时网络将导致有针对性的错误分类。尽管后门数字识别器很难构成严重威胁但这种设置使我们能够探索不同的后门策略并对后门网络的行为形成直觉。 在第 5 节中我们继续考虑使用美国和瑞典标志数据集进行交通标志检测这种情况对自动驾驶应用具有重要影响。我们首先证明类似于MNIST案例研究中使用的后门(例如粘贴在停车标志上的黄色便利贴)可以被后门网络可靠地识别在清洁(无后门)图像上的准确率下降不到1%。最后在5.3节中我们表明迁移学习场景也是脆弱的:我们创建了一个后门的美国交通标志分类器当重新训练来识别瑞典交通标志时每当后门触发器出现在输入图像中它的表现平均要差25%。我们还调查了目前迁移学习的使用情况发现预训练模型的获取方式通常允许攻击者替换后门模型并提供安全获取和使用这些经过训练的模型的安全建议(第6节)。 我们的攻击强调了在外包机器学习时选择一个值得信赖的供应商的重要性。我们也希望我们的工作将推动发展高效安全的外包训练技术以保证训练的完整性并促进工具的开发以帮助解释和调试神经网络的行为。
背景与威胁模型
神经网络基础 卷积神经网络 (CNN) 是具有稀疏、结构化权重矩阵的特殊类型 DNN。CNN 层可以组织为 3D 体如图 2 所示。体积中神经元的激活仅取决于前一层神经元子集称为其视野的激活并使用称为滤波器(卷积核)的 3D 权重矩阵进行计算。通道中的所有神经元共享相同的滤波器(卷积核)。从 2012 年的 ImageNet 挑战开始CNN 已被证明在一系列计算机视觉和模式识别任务中取得了巨大成功。
DNN 训练 DNN 训练的目标是确定网络的参数通常是其权重和偏差但有时也包括其超参数并借助已知真实类别标签的输入训练数据集。训练算法的目标是确定网络的参数使网络对训练输入的预测与真实标签之间的“距离”最小化其中距离是使用损失函数 L 测量的。 迁移学习 迁移学习建立在这样的理念之上针对一项机器学习任务训练的 DNN 可以用于其他相关任务而无需承担从头开始训练新模型的计算成本 [20]。具体来说针对特定源任务训练的 DNN 可以通过细化而不是完全重新训练网络权重或者仅替换和重新训练其最后几层来转移到相关目标任务上。 迁移学习已成功应用于广泛的场景。经过训练对一种产品例如书籍的评论进行情感分类的 DNN 可以转移到对另一种产品的评论进行分类例如 DVD [21]。在视觉任务中DNN 的卷积层可以被视为通用特征提取器指示图像中是否存在某些类型的形状 [22]因此可以直接导入以构建新模型。在第5节中我们将展示一个例子说明如何使用该技术将一个经过训练用于分类美国交通标志的DNN用于分类来自另一个国家[23]的交通标志。 威胁模型 外包训练攻击 攻击者的目标包括有针对性的攻击和非有针对性的攻击。在有针对性的攻击中对手精确地指定了满足后门属性的输入的网络输出例如攻击者可能希望在存在后门的情况下交换两个标签。非目标攻击的目的只是降低后门输入的分类精度也就是说只要后门输入被错误地分类攻击就会成功。为了达到目标攻击者可以任意修改训练程序。此类修改包括使用攻击者选择的样本和标签来增强训练数据也称为训练集中毒[24]更改学习算法的配置设置例如学习率或批量大小甚至直接手动设置返回的网络参数θ。 迁移学习攻击 在这种设置下用户无意中下载了恶意训练的模型从一个在线模型库中将其改编为自己的机器学习应用程序。存储库中的模型通常有相关的训练和验证数据集用户可以使用公共验证数据集检查模型的准确性也可以使用私有验证数据集(如果有访问权限的话)。攻击者在迁移学习攻击中的目标与在外包训练攻击中的目标类似。
相关工作 首先在统计垃圾邮件过滤器的背景下考虑对机器学习的攻击。在这里攻击者的目标是要么制造信息来逃避[25]、[26]、[27]、[28]的检测让垃圾邮件通过要么影响其训练数据使其阻止合法信息。这些攻击后来被扩展到基于机器学习的入侵检测系统Newsome et al.[29]设计了针对测谎仪病毒检测系统的训练时间攻击该系统在对网络流量进行分类时会产生假阳性和假阴性以及Chung和Mok[30][31]发现签名检测系统一个在线更新模型的签名检测系统很容易受到过敏攻击这使得系统能够学习匹配良性流量的签名。经典机器学习攻击的分类可以在Huang等人的[24]2011调查中找到。 为了创建我们的后门我们主要使用训练集投毒攻击者可以将自己的样本(以及相应的真实标签)添加到训练集中。现有关于训练集中毒的研究通常假设攻击者只能影响一部分固定比例的训练数据或者假设分类器通过新输入进行在线更新其中一些可能是由攻击者控制的但不会改变训练算法本身。这些假设在机器学习模型的背景下是合理的因为机器学习模型的训练成本相对较低因此不太可能被外包但在深度学习的背景下训练可能极其昂贵而且经常被外包。因此在我们的威胁模型(章节2.2)中我们允许攻击者自由修改训练过程只要返回给用户的参数满足模型体系结构和用户对精度的期望。 在深度学习的背景下安全研究主要集中在对抗性例子的现象上。Szegedy等人[32]首先注意到对抗例子是对正确分类的输入进行的难以察觉的修改从而导致它们被错误分类。后续工作提高了创建对抗例子的速度[33]证明了即使只有目标模型的黑盒访问可用也能找到对抗例子[34]甚至发现了普遍的对抗性扰动 [35]即使在不同的模型架构中通过添加单个扰动也可能导致不同图像被错误分类。这些敌对输入可以被认为是非恶意模型中的bug而我们的攻击引入了后门。此外我们预计即使开发出能够减轻敌对输入的技术外包网络中的后门仍将是一种威胁因为识别输入的某些特定属性并专门处理此类输入属于神经网络的预期用例。 与我们的工作最接近的是Shen et al.[36]的研究他们考虑在协作深度学习的背景下进行中毒攻击。在这个设置中许多用户将屏蔽特征提交给一个中央分类器然后该分类器根据所有用户的训练数据学习一个全局模型。Shen等人表明在这种设置下攻击者只要毒害10%的训练数据就可以导致目标类错误分类成功率为99%。然而这种攻击的结果很可能被检测到因为验证集会揭示模型的糟糕性能因此这些模型不太可能用于生产。虽然我们考虑一个更强大的攻击者攻击的影响也相应更严重后门模型将在防御者的验证集上表现出相同的性能但当看到后门触发输入时可能会在现场被迫失败。
案例1攻击MNIST模型
基线网络 CNN两个卷积层两个全连接层 考虑两个不同的后门 1、像素后门2、图像后门
案例2交通标志检测攻击
基线网络 F-RCNN 触发器 1、黄色方块2、炸弹的图像3、一朵花 单目标攻击 停车标志改为限速 随机攻击 随机选择错误标签目的降低分类准确率 BadNets目标 ①不被发现②成功攻击。
案例3迁移学习攻击 模型供应链中的漏洞 如第5节所示预训练模型中的后门可以在迁移学习中存活下来并导致新网络性能的可触发退化我们现在检查迁移学习的流行程度以证明它的普遍使用。此外我们研究了最流行的预训练模型来源之一Caffe Model Zoo[43]并研究了用户定位、下载和再训练这些模型的过程与实物产品的供应链类比我们将这个过程称为模型供应链。我们评估了现有模型供应链对秘密引入后门的脆弱性并为确保经过训练的模型的完整性提供了建议。 如果迁移学习在实践中很少使用那么我们的攻击可能不太值得关注。然而即使对深度学习的文献进行粗略的搜索也会发现现有的研究往往依赖于预先训练的模型根据谷歌Scholar的数据Razavian等人的[22]论文使用了来自预先训练的cnn的现成特征目前被引用超过1300次。特别是Donahue等人的[41]在使用迁移学习的图像识别中表现优于许多最先进的结果而CNN的卷积层没有经过重新训练。迁移学习也被专门应用于交通标志检测的问题与我们在文章中讨论的场景相同。最后我们发现几个教程[42][45][46]推荐使用迁移学习与预训练的cnn以减少训练时间或补偿小型训练集。我们得出的结论是迁移学习是一种为新任务获得高质量模型的流行方法而且不会产生从头开始训练模型的成本。 希望获得迁移学习模型的最终用户如何找到这些模型最流行的预训练模型存储库是 Caffe Model Zoo [43]在撰写本文时它托管了 39 个不同的模型主要用于各种图像识别任务包括花卉分类、人脸识别和汽车模型分类。每个模型通常都与一个GitHub的要点相关联其中包含一个README其中有一个reStructuredText部分给出元数据比如它的名称下载预先训练的权重的URL(模型的权重通常太大不能托管在GitHub上通常托管在外部)以及它的SHA1哈希。Caffe 还附带了一个名为 download_model_binary.py 的脚本用于根据 README 中的元数据下载模型令人鼓舞的是该脚本在下载时确实正确验证了模型数据的 SHA1 哈希值。 此设置为攻击者提供了几个引入后门模型的点。首先也是最简单的一点人们可以简单地编辑 Model Zoo wiki添加一个新的后门模型或者修改现有模型的 URL 以指向攻击者控制下的要点。此后门模型可能包含有效的 SHA1 哈希值从而降低检测到攻击的机会。其次攻击者可以通过破坏托管模型数据的外部服务器或如果模型通过纯 HTTP 提供在下载时替换模型数据来修改模型。在后一种情况下存储在 gist 中的 SHA1 哈希值将与下载的数据不匹配但如果用户手动下载模型数据则可能无法检查哈希值。事实上我们发现从Caffe Zoo链接的网络中的网络模型[47]目前在其元数据中有一个SHA1与下载的版本不匹配;尽管如此这个模型还是有49颗星和24条评论但是没有一条提到了不匹配的SHA1。这表明篡改模型不太可能被检测到即使它会导致SHA1失效。我们还发现从 Model Zoo 链接的 22 个要点根本没有列出 SHA1这将阻止最终用户验证模型的完整性。 Caffe Model Zoo 中的模型也用于其他机器学习框架。转换脚本允许 Caffe 训练好的模型转换为 TensorFlow [48]、Keras [49]、Theano [50]、Apple 的 CoreML [51]、MXNet [52] 和 neon [53]、Intel Nervana 的深度学习的格式学习框架。因此引入 Zoo 的恶意训练模型最终也可能会影响其他机器学习框架的大量用户。
安全建议 使用预训练模型是一种相对较新的现象围绕使用此类模型的安全实践很可能会随着时间的推移而改进。我们希望我们的工作能够提供强大的动力将确保软件供应链安全的经验教训应用于机器学习安全。特别是我们建议通过提供强大的传输完整性保证的通道从可信的来源获得经过训练的模型并且存储库要求对模型使用数字签名。 更广泛地说我们相信我们的工作激发了对探测深度神经网络后门技术的研究。尽管我们认为这是一个困难的挑战因为解释一个训练有素的网络的行为本身就很困难但我们还是有可能识别出在验证过程中从未被激活的网络部分并检查它们的行为。
总结 具体来说我们表明经过恶意训练的卷积神经网络很容易被植入后门由此产生的“BadNets”在常规输入上具有最先进的性能但在精心设计的攻击者选择的输入上却表现不佳。此外BadNet 是隐秘的即它们逃避了标准验证测试并且不会对经过诚实训练的基线网络引入任何结构变化即使它们实现了更复杂的功能。 我们已经为 MNIST 数字识别任务和更复杂的交通标志检测系统实现了 BadNets并证明了BadNets可以可靠地、恶意地将真实世界中的停车标志误分类为限速标志而这些标志是用便利贴做后门的。此外我们已经证明即使BadNets在不知情的情况下被下载并适应了新的机器学习任务后门仍然存在并继续导致新任务的分类精度显著下降。 最后我们评估了 Caffe Model Zoo预训练 CNN 模型的流行来源针对 BadNet 攻击的安全性。我们确定了几个引入后门模型的入口点并确定了一些实例在这些实例中预先训练的模型以难以保证其完整性的方式被共享。我们的工作为机器学习模型供应商(如Caffe model Zoo)提供了强大的动力以采用同样的安全标准和机制以确保软件供应链的安全。
