电子商务网站建设案例教程,计算机专业学什么好,一级做c爱片的网站,电商网站模块有哪些Learning RoI Transformer for Oriented Object Detection in Aerial Images
0.摘要
航空图像中的目标检测是计算机视觉中一个活跃而又具有挑战性的任务#xff0c;因为它具有鸟瞰视角、高度复杂的背景和变化的物体外观。特别是在航空图像中检测密集的目标时#xff0c;基于…Learning RoI Transformer for Oriented Object Detection in Aerial Images
0.摘要
航空图像中的目标检测是计算机视觉中一个活跃而又具有挑战性的任务因为它具有鸟瞰视角、高度复杂的背景和变化的物体外观。特别是在航空图像中检测密集的目标时基于水平建议的普通目标检测方法往往会导致感兴趣区域(Region of interest, RoIs)与目标之间的不匹配。这就导致了最终目标分类置信度与定位精度之间的常见偏差。在本文中我们提出了一个RoI Transformer来解决这些问题。RoI Transformer的核心思想是对RoI进行空间变换并在定向包围框(OBB)注释的监督下学习变换参数。RoI Transformer是轻量级的可以很容易地嵌入到检测器中用于定向对象检测。简单地将RoI Transformer应用于light-head RCNN 已经在两个常见且具有挑战性的航空数据集上取得了最先进的性能即DOTA和HRSC2016检测速度的降低可以忽略。当定向边界框注释可用时我们的RoI Transformer超过了可变形的位置敏感 RoI pool-ing。大量的实验也验证了我们的RoI Transformer的灵活性和有效性。
1.介绍
1背景 水平框检测会造成边界框和目标的不一致性尤其是当目标密集分布时。由于航空影像目标方向的多样性使用有限方向的RRoIs很难与所有的目标都正确匹配并且多方向的RRoIs还会造成计算的高度复杂性。空间变换、形变卷积和RoI池化常被用来处理几何变形并且不涉及标注的旋转边界框。在航空影像中提取具有旋转不变性的区域特征对于消除区域特征和目标的不匹配问题是非常重要的。
2)本文研究的主要内容 提出了RoI Transformer的模块结构通过标注RRoI的监督学习和基于位置敏感对齐的特征提取旨在利用双阶段框架实现密集旋转目标的检测。它由两部分组成 第一个是RRoI学习器它学习从hroi到RRoI的转换。 第二个是旋转位置敏感RoI Align从RRoI中提取旋转不变特征用于后续的对象分类和位置回归。
3本文研究的主要贡献
我们提出了一个有监督的旋转RoI学习器它是一个可以将水平RoI转换为RoI的可学习模块。该设计不仅可以有效缓解RoIs与对象之间的错位还可以避免为定向对象检测而设计的大量锚点。设计了用于空间不变特征提取的旋转位置敏感感兴趣区域对齐模块可以有效地促进目标分类和位置回归。当使用light-head RoI-wise操作时保证了效率和低复杂性。我们在几个公共大规模数据集上实现了最先进的性能用于航空图像中的定向目标检测。实验还表明所提出的RoI Transformer可以很容易地嵌入到不同的主干中并显著提高了检测性能。
2.相关工作
2.1. 定向边框回归 定向目标检测是一般水平目标检测的延伸。该任务是利用方向信息对目标进行定位和分类主要采用基于区域建议的方法进行处理。基于HRoI的方法[15,37]通常使用普通的RoI warp从HRoI中提取特征并回归相对于地面真实值的位置偏移。基于HRoI的方法存在区域特征与实例不匹配的问题。基于RRoI的方法[30,26]通常使用旋转RoI翘动(rotate RoI Warping)从RRoI中提取特征并回归相对于RRoI的位置偏移量可以在一定程度上避免误差问题。然而基于RRoI的方法涉及生成大量旋转的提案。[26]对轮换提案采用[27]中的方法。SRBBS[27]很难嵌入到神经网络中旋转生成提案会花费额外的时间。[30,43,41,1]在RPN[32]中采用了旋转锚的设计。然而由于锚点数量的急剧增加(num scales×num aspect ratios×num angles)该设计仍然很耗时。例如在一个位置设置3 × 5 × 6 90个锚。大量的锚点增加了网络中参数的计算量同时也降低了建议与ground truth匹配的效率。此外由于存在大量冗余的旋转锚点定向包围框之间的直接匹配比水平包围框之间的直接匹配更难。因此在旋转锚的设计中[30,24]都采用了松弛匹配策略。有一些锚点在任何真实情况下都没有达到0.5以上的IoU但它们被分配为True Positive样本这仍然会导致不对齐的问题。在这项工作中我们仍然使用水平锚。不同的是当生成hroi时我们通过轻全连接层将它们转换为rroi。基于这种策略没有必要增加主播的数量。并且可以获得大量精确的rroi这将促进匹配过程。因此我们直接使用OBBs之间的借条作为匹配标准可以有效地避免不对中问题。
2.2 空间不变特征提取 CNN具有平移不变性但在旋转和尺度变化方面表现较差。对于图像特征提取提出了空间变压器[14]和可变形卷积[5]来模拟任意变形。他们从目标任务中学习没有额外的监督。对于区域特征提取提出了可变形RoI池化[5]该算法通过对RoI池化采样网格进行偏移学习实现。与常规RoI翘曲相比它可以更好地在实例级对变形进行建模[8,10,4]。STN和可变形模块被广泛应用于场景文本和航空图像识别领域[40,33,19,34,39]。航空图像中目标检测存在较多的旋转和尺度变化很少有非刚性变形。因此我们的RoI Transformer仅对刚性空间变换建模该空间变换以(dx, dy, dw, dh, dθ)的格式学习。然而与可变形的RoI池化不同我们的RoI Transformer在地面真相的监督下学习偏移量。RRoIs还可以用于进一步的旋转边界框回归这也有助于提高目标定位性能。
2.3 轻roi操作 在两阶段算法中由于计算是不共享的所以roi操作是效率的瓶颈。为了解决这一问题提出了Light-head R-CNN[17]算法通过使用更大的可分离卷积来获得薄特征。它还采用PS RoI池[4]进一步降低特征图的维数。在维数为10的池化特征上采用单一的全连通层可以显著提高两阶段算法的速度。在航拍图像中存在实例数量较大的场景。例如单个1024 × 1024映像上可能有超过800个实例。我们的方法类似于可变形RoI池[5]其中进行两次RoI操作。为了保证效率还采用了light-head设计。
3. RoI Transformer
在本节中我们将详细介绍我们提出的RoI Transformer它包含两个部分RRoI Learner 和 RRoI Warping。RRoI Learner是一个PS RoI Align后面是一个维度为5的全连接层它回归了相对于hroi的旋转地面真理(rgs)的偏移量。RRoI Warping对旋转区域特征进行变形以保持旋转不变性。对于端到端训练这两层都是可微的。其架构如图2所示。 3.1. RRoI Learner RRoI学习器的目标是从水平roi的特征图中学习旋转roi。假设我们有n个HRoI用{Hi}表示格式为(x, y, w, h)用于预测HRoI的二维位置、宽度和高度对应的特征映射可记为{Fi}。由于在理想情况下每个HRoI都是RRoI的外部矩形我们试图通过使用全连接层从每个特征映射Fi推断RRoI的几何形状。我们首先给出相对于一般rroi的偏移的回归目标为 其中(xr, yr, wr, hr θr)是表示RRoI的位置、宽度、高度和方向的堆叠向量(x∗y∗w∗h∗θ∗)是有向包围盒(OBB)的地面真值参数。为了便于计算用mod来调整角偏移目标t * θ在[0,2 π)内。的确相对于HRoI的回归偏移的目标是Eq.(1)的特殊情况如果θ∗ 3π 2。一般相对偏移量如图3所示为例。 为了推导式(1)需要将OBB的坐标从全局坐标系转换为局部坐标系(例如x1O1y1)。从数学上讲全连接层为每个特征映射Fi by t G(F;Θ)(2) 其中G表示全连通层Θ是G的权重参数F是每个HRoI的特征图。在训练过程中我们需要匹配输入的HRoIs和定向包围盒(obb)的ground truth。为了提高效率将HRoI与轴向包围框进行了基于原始地面真实值的匹配。一旦HRoI与OBB的ground truth相匹配我们根据Eq.(1)中的定义直接设置t *。我们使用平滑L1损失[9]函数作为回归损失。对于每一次前向传递中的预测t我们将其从偏移量解码为RRoI参数。也就是说我们提出的RRoI学习器可以从HRoI特征图F中学习RRoI的参数。
3.2. RRoI Warping 得到RRoI参数后可以提取旋转不变的深度特征用于RRoI翘曲定向目标检测。在这里我们提出了旋转位置敏感(RPS) RoI对齐模块作为具体的RRoI扭曲因为我们的基线(更多细节在第2.3节)是Light-Head R-CNN[17]。给定形状为(H, W, K × K × C)的输入特征图D和RRoI (xr, yr, wr, hr θr)其中(xr, yr)表示RRoI的中心(wr, hr)表示RRoI的宽度和高度。θr给出了RRoI的方向。RPS RoI Align将旋转后的RoI分成K × K个bin输出形状为(K, K, C)的特征图Y。对于输出通道C(0≤C C)的索引为(i, j)(0≤i, j K)的bin我们有 其中Di,j,c是K × K × c特征映射中的一个特征映射。从输入到输出的通道映射与原来的位置敏感RoI池[4]相同。n × n是箱子中采样位置的个数。bin(i,j)表示坐标集{i wrk (sx 0.5) wrk×n;Sx 0,1…N−1}×{j HRK (sy 0.5) hrk×n;Sy 0,1…N−1}。对于每个(x, y)∈bin(i, j)它被Tθ转换为(x y )其中 (x y )为 通常式(3)由双线性插值实现。
3.3. RoI Transformer for Oriented Object Detection RRoI leaner和RRoI warping的组合形成了RRoI Transformer(RT)。它可以用来代替正常的RoI warping操作。来自RT的池化特征是旋转不变的。此外RRoI为以后的回归提供了更好的初始化因为与匹配的HRoI相比匹配的RRoI更接近RGT。如前所述RRoI是一个包含5个元素(xr, yr, wr, hr θr)的元组。为了消除歧义我们用h表示RRoI的短边用w表示长边。选择垂直于h且落在[0π]的方向作为RRoI的最终方向。在所有这些操作之后避免了歧义。此外这些操作还需要减少旋转变化。
1IoU between Polygons
在匹配RRoI和RGT时我们仍然使用IoU作为标准。如果任何RGT的RRoI的欠条超过0.5的阈值则被认为是真阳性(TP)。对于RRoI和RGT之间的IoU的计算我们使用式(5)如下所示。 它与水平边界框之间的IoU计算形式类似。唯一的区别是rroi的IoU计算是在多边形内执行的。Br表示RRoI的包围框。Bgt代表基本真理的边界框。面积是计算任意多边形面积的函数。
2Targets Calculation 对RRoI进行翘曲后得到旋转不变性特征。然后我们加入一个2048维的全连通层(fc)再加入两个兄弟层(fcs)进行最终的分类和回归(如图2)。分类目标与之前的工作相同。然而回归目标是不同的。为了保持一致性偏移量也需要是旋转不变的。为了达到这一目标我们使用图3所示的相对偏移量。主要思想是使用绑定到RRoI的坐标系而不是图像进行偏移量计算。
4.实验
略
5.结论
本文提出了一个RoI Transformer模块来对几何变换进行建模该模块可以有效地避免区域特征与物体之间的错位问题。该设计对具有挑战性的DOTA和HRSC上的面向对象检测带来了显著的改进而计算成本的增加可以忽略不计。通过与可变形RoI池化的综合比较验证了在有定向边界框标注的情况下该模型更为合理。
