鞍山网站设计,移动互联应用技术,虚拟主机网站被挂马,有没有个人网站目录 第四门课 卷积神经网络#xff08;Convolutional Neural Networks#xff09;第三周 目标检测#xff08;Object detection#xff09;3.7 非极大值抑制#xff08;Non-max suppression#xff09;3.8 Anchor Boxes 第四门课 卷积神经网络#xff08;Convolutional… 目录 第四门课 卷积神经网络Convolutional Neural Networks第三周 目标检测Object detection3.7 非极大值抑制Non-max suppression3.8 Anchor Boxes 第四门课 卷积神经网络Convolutional Neural Networks
第三周 目标检测Object detection
3.7 非极大值抑制Non-max suppression
到目前为止你们学到的对象检测中的一个问题是你的算法可能对同一个对象做出多次检测所以算法不是对某个对象检测出一次而是检测出多次。非极大值抑制这个方法可以确保你的算法对每个对象只检测一次我们讲一个例子。 假设你需要在这张图片里检测行人和汽车你可能会在上面放个 19×19 网格理论上这辆车只有一个中点所以它应该只被分配到一个格子里左边的车子也只有一个中点所以理论上应该只有一个格子做出有车的预测。 实践中当你运行对象分类和定位算法时对于每个格子都运行一次所以这个格子编号 1可能会认为这辆车中点应该在格子内部这几个格子编号 2、3也会这么认为。对于左边的车子也一样所以不仅仅是这个格子如果这是你们以前见过的图像不仅这个格编号 4子会认为它里面有车也许这个格子编号 5和这个格子编号 6也会也许其他格子也会这么认为觉得它们格子内有车。
我们分步介绍一下非极大抑制是怎么起效的因为你要在 361 个格子上都运行一次图像检测和定位算法那么可能很多格子都会举手说我的我这个格子里有车的概率很高而不是 361 个格子中仅有两个格子会报告它们检测出一个对象。所以当你运行算法的时候最后可能会对同一个对象做出多次检测所以非极大值抑制做的就是清理这些检测结果。这样一辆车只检测一次而不是每辆车都触发多次检测。 所以具体上这个算法做的是首先看看每次报告每个检测结果相关的概率在本周的编程练习中有更多细节实际上是乘以1、2或3。现在我们就说这个检测概率首先看概率最大的那个这个例子右边车辆中是 0.9然后就说这是最可靠的检测所以我们就用高亮标记就说我这里找到了一辆车。这么做之后非极大值抑制就会逐一审视剩下的矩形所有和这个最大的边框有很高交并比高度重叠的其他边界框那么这些输出就会被抑制。所以这两个矩形分别是 0.6 和 0.7这两个矩形和淡蓝色矩形重叠程度很高所以会被抑制变暗表示它们被抑制了。 接下来逐一审视剩下的矩形找出概率最高最高的一个在这种情况下是 0.8我们就认为这里检测出一辆车左边车辆然后非极大值抑制算法就会去掉其他 loU 值很高的矩形。所以现在每个矩形都会被高亮显示或者变暗如果你直接抛弃变暗的矩形那就剩下高亮显示的那些这就是最后得到的两个预测结果。
所以这就是非极大值抑制非最大值意味着你只输出概率最大的分类结果但抑制很接近但不是最大的其他预测结果所以这方法叫做非极大值抑制。
我们来看看算法的细节首先这个 19×19 网格上执行一下算法你会得到 19×19×8 的输出尺寸。不过对于这个例子来说我们简化一下就说你只做汽车检测我们就去掉1、2和3然后假设这条线对于 19×19 的每一个输出对于 361 个格子的每个输出你会得到这样的输出预测就是格子中有对象的概率然后是边界框参数、、ℎ和。如果你只检测一种对象那么就没有1、2和3这些预测分量。多个对象处于同一个格子中的情况我会放到编程练习中你们可以在本周末之前做做。 现在要实现非极大值抑制你可以做的第一件事是去掉所有边界框我们就将所有的预测值所有的边界框小于或等于某个阈值比如 ≤ 0.6的边界框去掉。
我们就这样说除非算法认为这里存在对象的概率至少有 0.6否则就抛弃所以这就抛弃了所有概率比较低的输出边界框。所以思路是对于这 361 个位置你输出一个边界框还有那个最好边界框所对应的概率所以我们只是抛弃所有低概率的边界框。 接下来剩下的边界框没有抛弃没有处理过的你就一直选择概率最高的边界框然后把它输出成预测结果这个过程就是上一张幻灯片取一个边界框让它高亮显示这样你就可以确定输出做出有一辆车的预测。 接下来去掉所有剩下的边界框任何没有达到输出标准的边界框之前没有抛弃的边界框把这些和输出边界框有高重叠面积和上一步输出边界框有很高交并比的边界框全部抛弃。所以 while 循环的第二步是上一张幻灯片变暗的那些边界框和高亮标记的边界重叠面积很高的那些边界框抛弃掉。在还有剩下边界框的时候一直这么做把没处理的都处理完直到每个边界框都判断过了它们有的作为输出结果剩下的会被抛弃它们和输出结果重叠面积太高和输出结果交并比太高和你刚刚输出这里存在对象结果的重叠程度过高。
在这张幻灯片中我只介绍了算法检测单个对象的情况如果你尝试同时检测三个对象比如说行人、汽车、摩托那么输出向量就会有三个额外的分量。事实证明正确的做法是独立进行三次非极大值抑制对每个输出类别都做一次但这个细节就留给本周的编程练习吧其中你可以自己尝试实现我们可以自己试试在多个对象类别检测时做非极大值抑制。
这就是非极大值抑制如果你能实现我们说过的对象检测算法你其实可以得到相当不错的结果。但结束我们对 YOLO 算法的介绍之前最后我还有一个细节想给大家分享可以进一步改善算法效果就是 anchor box 的思路我们下一个视频再介绍
3.8 Anchor Boxes
到目前为止对象检测中存在的一个问题是每个格子只能检测出一个对象如果你想让一个格子检测出多个对象你可以这么做就是使用 anchor box 这个概念我们从一个例子开始讲吧。 假设你有这样一张图片对于这个例子我们继续使用 3×3 网格注意行人的中点和汽车的中点几乎在同一个地方两者都落入到同一个格子中。所以对于那个格子如果 输出这个向量 [ p c b x b y b h b w c 1 c 2 c 3 ] \begin{bmatrix} p_c\\ b_x \\ b_y \\ b_h \\ b_w \\ c_1 \\ c_2 \\ c_3 \end{bmatrix} pcbxbybhbwc1c2c3 你可以检测这三个类别行人、汽车和摩托车它将无法输出检测结果所以我必须从两个检测结果中选一个。 而 anchor box 的思路是这样子预先定义两个不同形状的 anchor box或者 anchor box 形状你要做的是把预测结果和这两个 anchor box 关联起来。一般来说你可能会用更多的 anchor box可能要 5 个甚至更多但对于这个视频我们就用两个 anchor box这样介绍起来简单一些。 你要做的是定义类别标签用的向量不再是上面这个 [ p c b x b y b h b w c 1 c 2 c 3 ] T \begin{bmatrix}p_cb_xb_yb_hb_wc_1c_2c_3 \end{bmatrix}^T [pcbxbybhbwc1c2c3]T 而是重复两次 [ p c b x b y b h b w c 1 c 2 c 3 p c b x b y b h b w c 1 c 2 c 3 ] T \begin{bmatrix}p_cb_xb_yb_hb_wc_1c_2c_3p_cb_xb_yb_hb_wc_1c_2c_3\end{bmatrix}^T [pcbxbybhbwc1c2c3pcbxbybhbwc1c2c3]T
前面的, , , ℎ, , 1, 2, 3绿色方框标记的参数是和 anchor box 1 关联的 8 个参数后面的 8 个参数橙色方框标记的元素是和 anchor box 2 相关联。因为行人的形状更类似于 anchor box 1 的形状而不是 anchor box 2 的形状所以你可以用这 8 个数值前 8 个参数这么编码 1是的代表有个行人用, , ℎ和来编码包住行人的边界框然后用1, 2, 3(1 1, 2 0, 3 0)来说明这个对象是个行人。然后是车子因为车子的边界框比起 anchor box 1 更像 anchor box 2 的形状你就可以这么编码这里第二个对象是汽车然后有这样的边界框等等这里所有参数都和检测汽车相关( 1, , , ℎ, , 1 0, 2 1, 3 0)。 总结一下用 anchor box 之前你做的是这个对于训练集图像中的每个对象都根据那个对象中点位置分配到对应的格子中所以输出就是 3×3×8因为是 3×3 网格对于每个网格位置我们有输出向量包含然后边界框参数, , ℎ和然后1, 2, 3。
现在用到 anchor box 这个概念是这么做的。现在每个对象都和之前一样分配到同一个格子中分配到对象中点所在的格子中以及分配到和对象形状交并比最高的 anchor box中。所以这里有两个 anchor box你就取这个对象如果你的对象形状是这样的编号 1红色框你就看看这两个 anchor boxanchor box 1 形状是这样编号 2紫色框anchor box 2 形状是这样编号 3紫色框然后你观察哪一个 anchor box 和实际边界框编号1红色框的交并比更高不管选的是哪一个这个对象不只分配到一个格子而是分配到一对即grid cellanchor box对这就是对象在目标标签中的编码方式。所以现在输出 就是 3×3×16上一张幻灯片中你们看到 现在是 16 维的或者你也可以看成是3×3×2×8因为现在这里有 2 个 anchor box而 是 8 维的。 维度是 8因为我们有 3 个对象类别如果你有更多对象那么 的维度会更高。 所以我们来看一个具体的例子对于这个格子编号 2我们定义一下 [ p c b x b y b h b w c 1 c 2 c 3 p c b x b y b h b w c 1 c 2 c 3 ] T \begin{bmatrix}p_cb_xb_yb_hb_wc_1c_2c_3p_cb_xb_yb_hb_wc_1c_2c_3\end{bmatrix}^T [pcbxbybhbwc1c2c3pcbxbybhbwc1c2c3]T
所以行人更类似于 anchor box 1 的形状所以对于行人来说我们将她分配到向量的上半部分。是的这里存在一个对象即 1有一个边界框包住行人如果行人是类别 1那么 1 1, 2 0, 3 0编号 1 所示的橙色参数。车子的形状更像 anchor box 2所以这个向量剩下的部分是 1然后和车相关的边界框然后1 0, 2 1, 3 0编号 1所示的绿色参数。所以这就是对应中下格子的标签 这个箭头指向的格子编号 2 所示。
现在其中一个格子有车没有行人如果它里面只有一辆车那么假设车子的边界框形状是这样更像 anchor box 2如果这里只有一辆车行人走开了那么 anchor box 2 分量还是一样的要记住这是向量对应 anchor box 2 的分量和 anchor box 1 对应的向量分量你要填的就是里面没有任何对象所以 0然后剩下的就是 don’t care-s(即)编号 3所示。
现在还有一些额外的细节如果你有两个 anchor box但在同一个格子中有三个对象这种情况算法处理不好你希望这种情况不会发生但如果真的发生了这个算法并没有很好的处理办法对于这种情况我们就引入一些打破僵局的默认手段。还有这种情况两个对象都分配到一个格子中而且它们的 anchor box 形状也一样这是算法处理不好的另一种情况你需要引入一些打破僵局的默认手段专门处理这种情况希望你的数据集里不会出现这种情况其实出现的情况不多所以对性能的影响应该不会很大。
这就是 anchor box 的概念我们建立 anchor box 这个概念是为了处理两个对象出现在同一个格子的情况实践中这种情况很少发生特别是如果你用的是 19×19 网格而不是3×3 的网格两个对象中点处于 361 个格子中同一个格子的概率很低确实会出现但出现频率不高。也许设立 anchor box 的好处在于 anchor box 能让你的学习算法能够更有征对性特别是如果你的数据集有一些很高很瘦的对象比如说行人还有像汽车这样很宽的对象这样你的算法就能更有针对性的处理这样有一些输出单元可以针对检测很宽很胖的对象比如说车子然后输出一些单元可以针对检测很高很瘦的对象比如说行人。
最后你应该怎么选择 anchor box 呢人们一般手工指定 anchor box 形状你可以选择 5 到 10 个 anchor box 形状覆盖到多种不同的形状可以涵盖你想要检测的对象的各种形状。还有一个更高级的版本我就简单说一句你们如果接触过一些机器学习可能知道后期 YOLO 论文中有更好的做法就是所谓的 k-平均算法可以将两类对象形状聚类如果我们用它来选择一组 anchor box选择最具有代表性的一组 anchor box可以代表你试图检测的十几个对象类别但这其实是自动选择 anchor box 的高级方法。如果你就人工选择一些形状合理的考虑到所有对象的形状你预计会检测的很高很瘦或者很宽很胖的对象这应该也不难做。
所以这就是 anchor box在下一个视频中我们把学到的所有东西一起融入到 YOLO 算法中。
