流量卡网站,北京网络营销招聘网,用dw怎么做网站首页,最新域名查询ip文章目录 1.为什么研究角度的编码方式#xff1f;1.1 角度本身具有周期性1.2 深度学习的损失函数因为角度本身的周期性#xff0c;在周期性的点上可能产生很大的Loss#xff0c;造成训练不稳定1.3 那么如何处理边界问题呢#xff1a;#xff08;以θ的边界问题为例#x… 文章目录 1.为什么研究角度的编码方式1.1 角度本身具有周期性1.2 深度学习的损失函数因为角度本身的周期性在周期性的点上可能产生很大的Loss造成训练不稳定1.3 那么如何处理边界问题呢以θ的边界问题为例1.3 顺时针CW1.4 逆时针CCW 2 角度回归的方式2.1 长边定义法强制WH,range范围 [-90,90)2.3 长边定义135度2.4 OpenCV旧版本定义法2.5 OpenCV新版本定义法 不同编码方式之间的转化4 各种表示方法的边界问题参考 1.为什么研究角度的编码方式
从框的形式划分可分为水平检测和旋转检测即DOTA数据集比赛的task2和task1。遥感目标检测难点主要包括小目标small objects、密集cluttered arrangement、方向任意arbitary orientations。
1.1 角度本身具有周期性 [ b x , b y , b w , b h , b a n g l e ] [{bx},{by},{bw},{bh},{bangle}] [bx,by,bw,bh,bangle] and [ b x , b y , b w , b h , b a n g l e π ] [{bx},{by},{bw},{bh},{bangleπ}] [bx,by,bw,bh,bangleπ] 可以表征相同的旋转矩形框 [ b x , b y , b w , b h , b a n g l e ] [{bx},{by},{bw},{bh},{bangle}] [bx,by,bw,bh,bangle] and [ b x , b y , b h , b w , b a n g l e π / 2 ] [{bx},{by},{bh},{bw},{bangleπ/2}] [bx,by,bh,bw,bangleπ/2] 可以表征相同的旋转矩形框
1.2 深度学习的损失函数因为角度本身的周期性在周期性的点上可能产生很大的Loss造成训练不稳定
由于学习的目标参数具有周期性在周期变化的边界处会导致损失值突增因此增大网络的学习难度。这句话可以参考下图进行理解
1.3 那么如何处理边界问题呢以θ的边界问题为例
1、寻找一种新的旋转目标定义方式定义方式中不含具有周期变化性的参数却又能表示周期旋转的目标物体根本上杜绝边界问题的产生Anchor free/mask的思路PolarDet、P-RSDet基于极坐标系表示一个任意四边形物体BBA-Vectors、O^2-DNet基于向量来表示一个有向矩形ROPDet、Beyond Bounding Box、Oriented Reppoints基于点集来表示一个任意形状的物体
2、从损失函数上入手使用Smooth L1单独考虑每个参数时赋予损失函数和角度同样的周期性使得边界处θ之间差值可以很大但loss变化实际很小或者综合考虑所有回归参数的影响使用旋转IoU损失函数也可以规避边界问题不过RIoU不可导近似可导的相关工作可以参考KLD、GWD工程上实现RIoU可导的工作可以参考s2anet/README.md at master · csuhan/s2anet (github.com)
3、θ由回归问题转为分类问题。把连续问题直接离散化避开边界情况,当θ变为分类问题后网络就无法学习到角度距离信息了比如真实角度为-90网络预测成89和-89产生的损失值我们期望是一样的因为角度距离实际上都是1
1.3 顺时针CW 1.4 逆时针CCW 注在MMCV中可以设置旋转方向的算子有box_iou_rotated (默认为CW)nms_rotated (默认为CW)RoIAlignRotated (默认为CCW)RiRoIAlignRotated (默认为CCW)。
2 角度回归的方式
opencv定义法、长边定义法四边形定义法 实际上旋转框既可以由水平框绕在中心点顺时针旋转得到也可以由水平框绕在中心点逆时针旋转得到。 旋转方向和坐标系的选择密切相关。图像空间采用右手坐标系(y,x) 其中y轴 是上-下 x轴是左-右。 此时存在2种相反的旋转方向。
2.1 长边定义法强制WH,range范围 [-90,90) 我们采用的是长边定义法所以我们的注释文件格式为
[ classid x_c y_c longside shortside Θ ] Θ∈[0, 180)* longside: 旋转矩形框的最长边* shortside: 与最长边对应的另一边* Θ: x轴顺时针旋转遇到最长边所经过的角度利用好cv2.minAreaRect()函数总结规律就可以
注意opencv4.1.2版本cv2.minAreaRect()函数生成的最小外接矩形框xywhθ的几个大坑:
(1) 在绝大数情况下 Θ∈[-90, 0)
(2) 部分水平或垂直的目标边框其θ值为0
(3) width或height有时输出0, 与此同时Θ 90
(4) 输出的width或height有时会超过图片本身的宽高即归一化时数据1。
注意数据加载器中存在大量的归一化和反归一化的操作以及大量涉及到图像宽高度的数据变化因此网络输入的图像sizeHEIGHT 必须 WIDTH因为长边定义法中的longside和shorside与图像的宽高没有严格的对应关系。
数据加载器中涉及三类数据增强方式Mosaicrandom_perspective仿射矩阵增强普通数据增强方式。
其中Mosaic仿射矩阵增强都是针对X_LT, Y_LT, X_RB, Y_RB数据格式进行增强修改时添加θ维度就可以不过仿射矩阵增强函数内共有 Translation、Shear、Rotation、Scale、Perspective、Center 6种数据增强方式其中旋转与形变仿射的变换会引起目标角度上的改变。
所以只要超参数中的 [‘perspective’]0[‘degrees’]0 ,这块函数代码就不需要修改逻辑部分为了方便我们直接把涉及到角度的增强放在最后的普通数据增强方式中。
注意Mosaic操作中会同时触发MixUp数据增强操作但是在遥感/无人机应用场景中我个人认为并不适用首先背景复杂就是该场景中的普遍难题MixUp会融合两张图像图像中的小目标会掺杂另一张图的背景信息包含形似物或噪声从而影响小目标的特征提取。不过一切以实验结果为准
2.3 长边定义135度 2.4 OpenCV旧版本定义法 2.5 OpenCV新版本定义法 不同编码方式之间的转化
查阅
上面只列了三种转换关系未列的可以通过这三个进行多步转换或者有兴趣的可以自己总结一下转换关系。不管是哪个表示法的转换我们可以发现当需要进行变换操作的时候一般是这两种
边进行交换同时角度加减 pi/2
边不交换角度加减 pi
这就很有意思熟悉GWD论文的朋友可能也回想起不同定义法下的边界问题好像也是这两个关系。我们再来回顾一下为什么高斯建模可以统一不同的定义法和边界问题 红框中是协方差
中三种不同的元素这三个元素有一个共同的特点就是经过上面两种变换前后还是相同的所以高斯建模的优势就在于此。之所以需要三个那是因为这里有三个参数。抛开高斯分布这个框架我们是不是可以自己先构造三个这样性质的不同组合通过直接回归这些参数组合而不是采用GWD和KLD也能成功。
如果再思考得深入一点我们发现对于不同的表示方式它们计算IoU的代码其实都是通用的。这是为什么呢因为IoU的计算过程是和第2节讲的旋转变换有关。在框的旋转过程中我们是不需要考虑旋转角度是怎么定义的也就不需要担心变换之后是否超过定义范围逆时针旋转5度对应的就是原始角度减去5度。检测器的参数回归也是这么做的即使在解码中出现了我们所说的边界问题其本质还是一个正常的旋转变换。边界问题是针对某一个确定的表示法来说的因此如果使用IoU损失这种不用考虑框表示方式的损失函数来优化检测器就能完全不用在意边界问题。相同的高斯建模中的协方差
也存在旋转变换基于它的回归损失同样不需要考虑定义方式和边界问题。我暂将这种回归损失称为表示方式无关和边界问题免疫。
因此在设计旋转检测器过程中表示法的作用应该局限于给初始候选框如anchor一个初始的表示形式不能参与回归损失的计算否则不同表示法和边界问题都会对检测器的优化带来影响即回归损失应该是表示方式无关和边界问题免疫的。
MMRotate支持 OpenCV、长边135°、长边90° 3 种角度定义法也支持 DOTA、SSDD、HRSID 3 个遥感数据集。
在OpenMMLab的MMCV中实现了RiRoIAlignRotated, RotatedFeatureAlign 等高性能旋转框 CUDA 算子因此 MMRotate 无愧是真正的史上最全、最统一的旋转目标检测算法框架。
4 各种表示方法的边界问题
由于大长宽比的目标对于角度的变化是非常敏感的因此研究边界问题是比较有意义的。我们希望在边界情况也能预测的比较准确减少有预测框但是不准被当FP的情况。先给出上面三种定义方法边界问题的描述图 (a)90-regression-based最理想的角度回归路线是由蓝色框逆时针旋转到红色框但由于角度的周期性导致按照这个回归方式的损失非常大参见上图右边的Example。此时模型必须以更复杂的形式回归例如蓝色框顺时针旋转同时缩放w和h增加了回归的难度。通过下图a右边的example我们可以发现损失值的突增来源于两部分一个是角度周期性periodicity of angularPoA另一个是边的交换性exchangeability of edgesEoE。
(b) 180-regression-based相同的这种方式比上面稍微简单一些损失值的突增只来源于PoA。
© Point-based 看©图如果是蓝框是anchor红框是ground-truth那么通过点的排序之后实际和理想的回归方式是一样的按照回归的距离定义都是: 通过上述三种例子的分析我们不难得出这样的结论理想的预测结果超出了我们所定义的范围导致出现边界问题即产生一个较大的损失值。
参考
论文RAPiD Rotation-Aware People Detection in Overhead Fisheye Images https://zhuanlan.zhihu.com/p/358441134 https://zhuanlan.zhihu.com/p/108185873 https://zhuanlan.zhihu.com/p/111493759
