怎么看自己做没做网站地图,公众号开发信息在哪里,东莞东城中学,湛江外包做网站可解释性人脸识别#xff08;XFR#xff09;#xff1f;
人脸识别有一个任务叫1:N#xff08;识别#xff09;。这个任务将一个人的照片与N张注册照片进行比较#xff0c;找出相似度最高的人。
这项任务用于刑事调查和出入境点。在犯罪调查中#xff0c;任务从监控摄像…可解释性人脸识别XFR
人脸识别有一个任务叫1:N识别。这个任务将一个人的照片与N张注册照片进行比较找出相似度最高的人。
这项任务用于刑事调查和出入境点。在犯罪调查中任务从监控摄像头中检测出人脸并与罪犯数据库进行比对以便更有效地识别罪犯。此外进出大楼时在入口大门处拍摄人脸并与员工数据库进行核对实现员工签到与记录。
近年来深度学习的突破大大提高人脸识别的准确率了使其具有实用性。但是另一方面由于模型变得更加复杂决策的标准是一个黑箱因此相信模型的识别结果存在一定的风险。
算法会面对一个问题是人脸识别模型决定该图像与其他图像最相似其依据是什么
可解释的人脸识别XFR是将这一原理可视化的模型。模型的可视化决策依据是人脸识别技术安全使用的重要因素之一。
本文提出了一种更准确的检测和评价这种判断依据的方法。下图是本文的概述。首先把(Mate #1、Probe、Non-mateInpainted)作为一对输入到XFR中。接下来XFR计算{Probe、Mate #1}和{Probe、Non-mateInpainted}之间概率差异最大的像素创建XFR Saliency Map。最后计算XFR Saliency Map和非伴侣InpaintedMate #2之间的匹配度单位为像素。如果符合则标为True Positive (Green)如果不符合则标为False PositiveRed。红色的数值越小绿色的数值越大绿色的数值越高XFR Saliency Map就能更准确地识别出两者之间的细微差异模型也就越可靠。
本文将介绍XFR算法(Subtree EBP、DISE)、定量评估其性能的方法(Inpainting Game)以及这些评估的结果。
源码地址https://github.com/stresearch/xfr
XFR的新算法(Subtree EBP、DISE)
本文将五种XFR算法DISE、Subtree EBP、Mean EBP、Contrastive EBP、Truncated cEBP应用于三种CNNLightCNN、VGGFace2 ResNet-50和ResNet-101。在算法中Mean EBP、Contrastive EBP和Truncated cEBP是目前报告性能较高的算法的代表。而Subtree EBP是本文中DISE提出的新算法。在这里我们将介绍Subtree EBP和DISE。
Subtree EBP
SubtreeEBP探索CNN中各个节点的激活性最大化其与Mate的相似性最小化Triplet Loss同时最小化其与Non-mate的相似性。将每个节点的Excitory Regions独立可视化并按损失降序排序组合成一个最能描述如何识别Probe的Saliency Map。
SubtreeEBP是本文EBPExcitation Backprop中使用的Triplet Loss(见下文)的扩展算法。其中p代表Probem代表Maten代表Non-mate Embedding。 公式1
输入{Probe, Mate, Non-Mate}计算网络上每个节点xi的三联损失斜率∂L/∂xi。然后我们计算Probe的梯度假设Mate和Non-Mate的Embedding不变。然后我们将每个节点xj的梯度按降序排列并选择梯度最大的前k个节点的正梯度。这些节点是对Triplet Loss影响最大的前k个节点与Mate相似度较高与Non-mate相似度较低。最后从所选节点中创建k个EBP Saliency MapSi并将Si与权重wi∂L/∂xi进行加权凸合如下式所示产生最终的SubtreeEBP Saliency MapS。在下面的公式中权重由损失梯度wi给出并进行归一化处理使之和为1。 公式2
下图是一个SubtreeEBP的例子。它们显示了损失斜率WI最高的27个节点。它们是逐行排序的因此右下角的节点比左上角的节点对损失的影响更大。每个Saliency Map(Si)都会被凸连接起来形成最终的Saliency Map(S)创建一个最清晰地说明与Probe相似性的Saliency Map。在这种情况下说明鼻子里的Mate和Nonmate有很大的区别。换句话说我们可以看到我们通过关注鼻子来区分Mate和Nonmate。
DISE(Density-based Input Sampling for Explanation)
本文提出了另一种XFR算法DISEDensity-based Input Sampling for Explanation它是RISERandomized Input Sampling for Explanation的扩展。DISE是RISERandomized Input Sampling for Explanation的扩展。 V.Petsiuk, A. Das, and K. Saenko.Rise: Randomized input sampling for explanation of black-box models.British Machine Vision ConferenceBMVC2018。(Fig.3)
RISE将随机采样的噪声掩码与输入图像进行匹配并评估黑盒模型的输出变化创建一个Saliency Map将对类目分类有重大影响的像素可视化。DISE为这个RISE提供了三个扩展。
定义一个先验分布使噪声抽样更有效。定义一个具有有限数量遮蔽元素的稀疏遮蔽。定义三倍损失的数值斜率以加权每个掩模。
关于第一种RISE为输入图像创建了一个均匀随机的掩码这使得采样过程效率低下。因此在DISE中我们设置了一个先验分布来有效地对噪声进行采样。此外先验概率被限制在均值-EBP的前50%以避免掩盖不重要的背景。
2(如眼睛)因为RISE使用随机的二进制掩码覆盖整个输入图像而DISE限制了被掩码的元素数量并使其变得稀疏以明确界定局部区域的效果。此外用于评估XFR性能的Impainte Game见下文表明使用模糊图像掩模比使用灰色掩模在数量上有更好的效果。
对于第三种给定掩码-掩码的Probe根据先验分布进行采样我们可以计算Triplet Loss的数值斜率如下P为Probem为Mate而非在伴侣为n掩蔽的Probe为p^的情况下Eq.1的数值斜率可近似为 Eq.3 Eq. 3.
当我们掩盖了Probe和Mate之间的相似性增加而与Non-Mate的相似性降低的区域即对识别有显著贡献的区域时数值梯度会增加。这使得这些掩码的损失加权累积可以变成一个Saliency Map。最终的Saliency Map是根据公式2计算的。其中Si是配对的二元掩码并且具有非负的斜率权重式3。
综合安全分遣队概述如下在这种方法中探针的局部区域被掩盖在灰色中并根据从激励回传EBP获得的先验分布进行采样。给定一个已经被采样和屏蔽的Probe我们计算{Probe, Mate, Non-mate}的Toriplet Loss的数值斜率。最后数值斜率较高的掩码在Saliency Map中的权重较高。 什么是评价XFR的Inpainting Game
XFR算法的目标是可视化为什么人脸识别模型确定该人脸而不是其他人脸是最相似的。一种方法是突出并可视化与判断为最相似的ID相匹配的区域而不是其他ID。创建Saliency Map。为了评估XFR算法的性能重要的是要将该区域以高分辨率可视化。
评价这种XFR算法的性能的一个重要问题是Ground Truth的生成。在XFR中Ground Truth不仅取决于Probe、Mate和Non-Mate的选择还取决于要评估的网络。我们通过合成Inpainted Nonmate和Doppelganger与从Original修改的人脸选定区域来解决这个问题。
在本实验中两幅图像之间只有Inpainted区域不同所以只能用Inpainted区域来区分两幅图像。此外我们还根据Doppelganger降低目标网络相似度的能力对其进行综合。我们把这种定量评价的综合方法称为Inpaiting Game。
下图是Inpainting Game的概况每次评价至少使用四张图片Probe、Mate、Inpainted Probe和Inpainted Nonmate。内画探针和探针分身在脸部的某些部位如眼睛、鼻子、嘴巴等与探针有所不同。同样Inpainted Nonmate或Mate Doppelganger与Mate略有不同。漆质探针和漆质非伴侣是为了成为新的身份而产生的。
XFR算法给定Probe、Mate和Nonmate的组合标记为{Mated Probe、Mated Reference、Inpainted Nonmate}。对于每一个组合我们估计Probe属于可判别区域像素的可能性其中Probe与Mated比Nonmated/Inpainted更相似并从这些可判别区域像素估计形成Saliency Map。
每个像素通过应用一个阈值被分类为一个Salient从而得到一个二进制Saliency Map。对于每个二进制Saliency Map探头像素被替换为Inpainted Probe的像素以创建一个Blended Probe。Inpainted Probe是由Inpainted Nonmates相同的脸部区域生成的并不提供给用于评估的XFR算法。显著性地图的评估方法是通过平淡探针从Mate到Non-Mate的翻转速度同时最大限度地提高地面真理灰色的显著性绿色和最小化误报红色。
数据集
Inpainting Game包含从IJB-C数据集中选取的95个主题的561张图片平均每个主题有5.9张图片。以下面部区域8被定义为评估区域。
脸颊和下巴喉舌鼻子左眼右眼眉毛脸的左手边脸颊右侧
每张图片都是针对这8个区域分别进行编辑共形成4488个Inpainted Doppelgangers。然后我们从这个集合中创建一组3648个三联体每个组合都是{探针、伴侣和Inpainted Nonmate)。在无法区分Original和Inpaint的网络中XFR算法无法正确评估。因此只采用包含可识别ID的组合。
二重身的生成方式如下为了系统地遮挡区域使用pix2face算法对每张人脸图像进行三维网格拟合然后将人脸区域的遮挡投影到图像上。然后我们在蒙版区域上使用多个Inpaints来完成图像。下图是一个编辑过的二重身的例子。前7列是7个主体的原始图像底部有4个相同的图像。中间一列是一个二进制掩码定义了要涂抹的区域。而最后7列则逐行显示了使用原图面具Inpaint的二重身。也就是说Inpainted图像与Original图像仅在遮挡区域有所不同。
前七栏是七个被摄对象的原始图像最下面是四个相同的图像。中间一列是二进制掩码定义了要编辑的区域。而最后七列则是用蒙版对照原图编辑的多普勒一行一行的。即编辑后的图像与原图像仅在遮挡区域有差异。
构建内画数据集的一个重要挑战是将内画ID与其他ID区分开来在一个给定的网络中大多数内画图像与原图的相似度没有足够的差异。只有当网络能够区分Mate和Mate二重身以及Probe和Probe二重身时才会采用创建的组合{ProbeMateInpainted Nonmate}作为数据集。
具体来说我们对每个组合作为网络的数据集有以下标准。
原始探针满足的条件 与相应的Inpainted/Nonmated相比与Original/Mated更为相似。按调整后的阈值正确确定为原件/已定稿 喷漆探头所满足的条件 与Inpainted/Nonmated ID比Original更相似。按调整后的阈值正确地确定为Inpainted/Nonmated。
根据上述这些标准对每个网络的内画数据集进行过滤得到的数据集对被检查的网络是唯一的。例如如果网络是ResNet-101最终过滤后的数据集将采用84个ID和543个组合。一般来说识别性能较差的网络比性能较高的网络符合标准的组合会少一些。
评价方法
XFR算法估计对于每个像素可分辨区域的可能性以匹配Probe到Mated而不是Nonmate/Inpainted。这些对可辨别区域可能性的估计通过估计最亮的区域最有可能属于可辨别区域形成了一个Saliency Map。
考虑到作为一种典型的ROC曲线评价方法可以通过扫除估计像素存在的阈值来生成ROC曲线并且油漆阳性/阳性区域油漆我们可以通过将非敏感区域设为负值/非敏感区域来计算真接受率和误报率。然而并不是所有非敏感区域的像素都对该身分有同等贡献。因此在本文中我们采用平均非伴侣分类率代替真阳性率进行Saliency分类。
在本文中我们已经测试了使用一个Blend Probe通过扫描Saliency阈值用Saliency算法中没有提供的未涂抹的探针的像素来替换被分类为高Saliency的像素。根据被测试的网络该混合探头可分为原厂或未上漆的非伴侣。高性能的XFR算法正确地将更多的Saliency分配给Inpainted区域并在不增加像素Saliency分类的误报率的情况下修改Blend Probe。
假阳性率是由Saliency分类计算出来的对所有组合使用混合探头的Ground Truth。平均非伴侣分类率由过滤后的数据集的每个面区域内的组合数量加权以避免更多样本的子协议偏差。该指标的输出曲线示例见下节。
实验结果
利用三种CNNLightCNN、VGGFace2 ResNet-50、ResNet-101和五种XFR算法DISE、Subtree EBP、Mean EBP、Contrastive EBP、Truncated cEBPInpainting这是游戏公司的业绩评价。在CNN中我们通过应用不同深度的CNN来考察网络深度的影响。在XFR算法中DISE和Subtree EBP是本文提出的新算法而Mean EBP、Contrastive EBP和Truncated cEBP是最新的算法已被报道为高精度算法。我们将Impainting Game应用于这些模型结果如下图所示。这里我们特别展示两个网络。 总的来说可以看出当应用较深的CNNResNet-50时DISE的性能较高当应用较浅的CNNLightCNN时Subtree EBP的性能较高。两种算法的性能明显优于传统算法EBP、cEBP和tcEBP。
我们还在ResNet-101中单独评估每个面部区域。这里我们展示了编辑了眉毛的Doppelganger的DISE和SubtreeEBP结果。更少的红色像素意味着最多的结果。可以看出DISE对于XFR算法识别眉毛的细微差异比较好。 眉毛以外的其他部位被编辑后差别就没有那么大了。例如下图显示了左、右面被编辑后运行XFR算法的结果。两种XFR算法都将难以检测出修正后的不对称变化。
总结
论文引入了一种名为Inpainting Game的新的定量方法来比较XFR算法并提供了第一个可解释人脸识别XFR的综合基准。他们还提出了一种新的XFR算法(Subtree EBPDISE)发现它比现有的算法在性能上有明显的提高。
另一方面本文的补充验证详见补充材料也表明目前的XFR算法在相似度较高的情况下可能无法准确地可视化识别原因精度有限。
然而由于现在可以进行这种定量评估这项研究可能会导致未来进一步研究和开发更准确的XFR从而使面部识别能够在更广泛的情况下支持人们做出重要决定。在需要可解释的人工智能的背景下这可能会继续成为一个重点领域。
