上海网站制作公司报价,免费的网站app下载,给网站做引流多少钱,珠海模板建站平台论文笔记✍MonoLSS: Learnable Sample Selection For Monocular 3D Detection
#x1f4dc; Abstract #x1f528; 主流做法限制 #xff1a;
以前的工作以启发式的方式使用特征来学习 3D 属性#xff0c;没有考虑到不适当的特征可能会产生不利影响。
#x1f528; 本…论文笔记✍MonoLSS: Learnable Sample Selection For Monocular 3D Detection Abstract 主流做法限制
以前的工作以启发式的方式使用特征来学习 3D 属性没有考虑到不适当的特征可能会产生不利影响。 本文做法
本文引入了样本选择即只训练合适的样本来回归 3D 属性。 为了自适应地选择样本我们提出了可学习样本选择LSS模块该模块基于 Gumbel-Softmax 和相对距离样本划分器。 LSS 模块在预热策略下工作从而提高训练稳定性。 此外由于专用于3D属性样本选择的LSS模块依赖于对象级特征因此我们进一步开发了一种名为MixUp3D的数据增强方法来丰富3D属性样本该方法符合成像原理而不引入歧义。 作为两种正交方法LSS 模块和 MixUp3D 可以独立使用也可以结合使用。足够的实验表明它们的组合使用可以产生协同效应产生的改进超越了它们单独应用的简单总和。 结果
利用 LSS 模块和 MixUp3D在没有任何额外数据的情况下我们名为 MonoLSS 的方法在 KITTI 3D 对象检测基准测试的所有三个类别汽车、骑行者和行人中排名第一并且在 Waymo 数据集和 KITTI 上都取得了有竞争力的结果 - nuScenes 跨数据集评估。该代码包含在补充材料中并将发布以促进相关学术和工业研究。
问题前置
问题 看完摘要有以下几点问题带着这些问题看论文。
作者说不适当的特征指的是什么
解答遮挡问题导致b物体特征点在A物体上面。导致预测B物体的特征不合适。
针对作者的motivation,作者是如何解决问题的为什么提出的方案是有效地
解答从问题出发选择合适的特征。进而引入了怎么选择合适的特征采样数据增强。 根据什么条件来制定可学习样本挑选策略 如何进行数据增强mixup3D怎么代码实现的 如何联合使用保证效果最优
✨ 一、Introduction 1.1 Motivation
为了实现准确的 3D 属性估计许多方法将 3D 属性预测分支添加到 2D 检测器中 [43, 61]。利用特征进行3D属性输出。
设计动机来自于2D检测的标签分配。人们很少需要IOU小于0.3的anchor作为目标检测的正样本在anchor free方法中这意味着远离目标中心。使用不当可能会导致歧义甚至产生不利影响。我们将这些知识转移到 3D 属性学习中。
SMOKE [32]仅使用位于对象3D中心的尺寸为1 * 1 * C的一个固定位置特征来回归3D属性。 当发生遮挡时该特征可能位于另一个对象上。尽管感受野不限于特征的位置但网络可能无法接收最佳信息作为输入。
由于受到前景和背景干扰等无用信息的影响这种方法仍然存在问题
2. 在这项工作中我们引入样本选择来识别有利于学习 3D 属性的特征并将其作为正样本而忽略其余特征并将其视为负样本。 挑战在于如何划分它们。一种直观的方法是关注目标对象本身的特征图1c但这些方法需要引入额外的数据例如深度图[40]或分割标签并且仍然无法在不同的样本中选择合适的样本。物体的内部组件例如轮子、灯光或身体。 为了解决 3D 属性样本选择问题我们提出了一种新颖的可学习样本选择LSS模块。 LSS 模块使用 Gumbel-Softmax [13] 实现概率采样。 此外采用top-k GumbelSoftmax [22]来实现多样本采样将抽取的样本数量从1扩展到k。 此外为了取代所有对象使用相同的k值我们开发了一种基于相对距离的无超参数样本划分器实现了每个对象采样值的自适应确定。 此外受 HTL 方法 [34] 的启发LSS 模块采用预热策略来稳定训练过程。 采样-每个物体自适应采样-HTL方法稳定训练过程
3. 此外专用于 3D 属性样本选择的 LSS 模块依赖于对象级特征。然而训练数据中的对象数量总是有限的。同时大多数3D单目数据增强方法例如随机裁剪扩展、随机翻转、复制粘贴等都不会改变物体本身的特征。其中一些甚至由于违反成像原理而引入模糊的特征。
所以呢为了提高3D属性样本的丰富度我们提出MixUp3D它在传统2D MixUp [57]的基础上添加物理约束来模拟物理世界中的空间重叠。空间重叠不会改变对象的 3D 属性例如汽车重叠自行车但我们仍然可以判断它们的深度、尺寸和方向。 作为空间重叠的模拟MixUp3D 使物体能够符合成像原理而不会引入模糊性。 可以丰富训练样本缓解过拟合。此外MixUp3D 可以用作任何单目 3D 检测方法中的基本数据增强方法。 1.2 本文方法贡献
总而言之这项工作的主要贡献如下
• 我们强调并非所有特征对于学习 3D 属性都同样有效并首先将其重新表述为样本选择问题。相应地开发了一种新颖的可学习样本选择LSS模块可以自适应地选择样本。
• 为了丰富3D 属性样本我们设计了MixUp3D 数据增强它可以模拟空间重叠并显着提高3D 检测性能。
SOTA
通过阅读Introduction作者首先从3D属性预测特征问题出发认为特征没选好其次提出了解决方案第一自适应的选择样本进行特征提取更加适应于属性预测第二数据增强来丰富样本。最后大量实验验证设计思路的有效性。 二、Related Work 2.1 常见做法
1 Monocular 3D Object Detection
根据是否使用额外数据单目 3D 目标检测算法可主要分为两类。 第一种方法仅使用单个图像作为输入没有任何额外信息 第二种方法使用额外的数据例如深度图、LIDAR点云和CAD模型来获取附加信息并增强检测。
由于信息的增加利用额外数据的方法总是表现出卓越的性能。然而复杂的传感器配置和计算开销限制了它们在工业中的实际应用。
2 Sample Selection in 2D/3D Detection.
3 Data Augmentation in Monocular 3D Detection.
由于违反几何约束随机水平翻转 [5, 28, 63] 和光度畸变 [3, 50] 是单目 3D 检测中唯一最常使用的两种数据增强方法。
一些方法[40]DID-M3D) 使用随机裁剪和扩展来模拟深度的比例变化。然而根据成像原理一幅图像上的所有深度具有相同的比例变化是不切实际的。
一些方法 [29, 53] 使用额外的深度图来模拟相机沿 z 轴的前后移动。
然而由于视差和深度图误差该方法引入了大量噪声和扭曲的外观特征。
实例级复制粘贴[29]也被用作3D数据增强方法但受限于复杂的手动处理逻辑仍然不够现实。 [Exploring Geometric Consistency for Monocular 3D Object Detection] 三、Approach 3.1 FrameWork
单目 3D 对象检测从单个 RGB 图像中提取特征估计图像中每个对象的类别和 3D 边界框。 3D 边界框可以进一步分为 3D 中心位置x、y、z、尺寸h、w、l和方向偏航角θ。物体的横滚角和俯仰角设置为 0。
在这项工作中我们提出了一种新颖的可学习样本选择LSS模块来优化单目 3D 对象检测过程。 MonoLS的整体架构如图2所示主要包括2D检测器、ROI-Align、3D检测头和LSS模块。
2D检测 与仅根据对象特征预测单个 3D 边界框的其他方法不同我们的方法使用对象特征中的每个样本点来预测 3D 边界框和对数概率。每个对象会经过采样每个采样点都用来预测
此外我们遵循多仓设计来预测方向并预测深度的不确定性这与 GUPNet [34] 相同。
基于网络预测的logit图LSS模块可以在训练时自适应地选择3D属性的正样本。
在推理过程中LSS模块根据logit图中的最高对数概率选择最佳3D属性。
Learnable Sample Selection (LSS)
假设U ∼ U niform(0, 1)那么我们可以使用逆变换采样通过计算 G −log(−log(U )) 来生成 Gumbel 分布 G。通过用 Gumbel 分布独立扰动对数概率并使用 argmax 函数找到最大元素Gumbel-Max 技巧 [10] 实现了无需随机选择的概率采样。基于这项工作Gumbel-Softmax [13]使用softmax函数作为argmax的连续、可微的近似并借助重新参数化实现整体可微性。 GumbelTop-k [22]通过无放回地绘制大小为 k 的有序采样将样本点的数量从 Top-1 扩展到 Top-k其中 k 是超参数。 然而相同的 k 并不适合所有对象例如被遮挡的对象应该比正常对象具有更少的正样本。 为此我们设计了一个基于无超参数相对距离的模块来自适应地划分样本。 总之我们提出了一个可学习样本选择LSS模块来解决 3D 属性学习中的样本选择问题该模块由 Gumbel-Softmax 和相对距离样本划分器组成。 通过U–G −log(−log(U ))–ˆ Φ (G Φ) --softmax --S depth uncertainty U logit map Φ Gumbel distribution G Gumbel-distributed logit ˆ Φ soft map S
之后采用相对距离样本分配器代替Gumbel-Top-k中的固定k实现自适应样本分配。我们使用软映射的元素之间的最大间隔来区分正样本和负样本。一般用绝对距离Abs dis |a − b|来表示间隔。但由于softmax函数的放大效应使用绝对距离来划分样本可能会导致正样本数量不足。我们利用相对距离Rel dis a b 来增加正样本的数量。例如如果softmax函数的输入向量为[20, 18, 17, 7]则输出将为[0.84, 0.12, 0.04, 0]使用绝对距离将仅分配一个正样本而相对距离将分配三
首先我们将软映射S展平为一维向量Sof t S并对其进行排序得到排序向量Sort S。其次我们通过以下公式计算向量Sort S的相邻元素之间的相对距离其中f()表示Sort S到Sof t S的映射关系。假设Dis Si为Dis S中的最大值由于指数函数是单调递增函数因此 ˆ φf(i) − ˆ φf(i 1) 是 ˆ Φ 中的最大间隔。本质上我们正在寻找 Gumbel 分布 logit 中最具辨别力的值来区分正样本和负样本。我们选择Dis Si对应的Sort Si作为阈值来过滤负样本。具体地将软映射S中小于Sort Si的值设置为0得到最终的采样映射Sample S。
2. Loss Function and Training Strategy
整体损失L由2D损失L2d和3D损失L3d组成其中2D损失L2d遵循CenterNet[61]中的设计3D损失L3d采用基于LSS模块的多任务损失函数来监督3D损失的学习特性.
在计算出每个属性的损失后我们将深度、方向和维度属性的损失图乘以LSS的最终采样图Sample S以防止负样本的损失反向传播。
采用 HTL [34] 训练策略来减少不稳定性(出自 GUPNet)。此外由于3D属性损失的不稳定性会干扰正样本点的选择因此我们在训练LSS模块时使用预热策略。具体来说在训练的早期阶段所有样本都将用于学习3D属性直到深度损失稳定。我们认为深度损失稳定是启动 LSS 模块的必要条件因为深度是影响 3D 边界框精度的最重要属性 [29, 36]。
3. MixUp3D for Spatial Overlap Simulation
由于LSS模块专注于对象级特征因此不修改对象本身特征的方法对于LSS模块来说预计不会足够有效.
由于 MixUp [57, 58] 的优点可以增强对象的像素级特征。**我们提出了 MixUp3D它为 2D MixUp 添加了物理约束**使得新生成的图像本质上是空间重叠的合理成像。具体来说MixUp3D 仅违反物理世界中物体的碰撞约束同时确保生成的图像遵循成像原理从而避免任何歧义。
在本文中我们对 MixUp 图像施加严格的约束以确保它们具有相同的焦距、主点、分辨率和相机视图俯仰角和滚动角。一般来说焦距相同的图像总是意味着**它们的主点和分辨率也相同**因此MixUp3D只需要考虑保证图像焦距相同即可。其中 n, m ∈ [1, N ] 且 n ̸ m。 λ表示混合比例。
所提出的MixUp3D可以在不引入歧义的情况下丰富训练样本并有效缓解过拟合问题。作为一种重要的数据增强方法它可以方便地应用于任何单目 3D 检测任务。 mixup3D:遵循mixup2D,先找出相同的焦距的图片进行分组然后组内进行mixup。保证了成像原理。四、Experiments 4.1 Implementation details
Waymo 根据 3D 框中存在的 LiDAR 点的数量在两个级别评估对象级别 1 和级别 2。评估在三个距离进行[0, 30)、[30, 50) 和 [50, ∞) 米。 Waymo 利用 AP H3D 百分比指标其中包含 AP3D 中的航向信息作为评估基准。
nuScenes 包含从前置摄像头捕获的 28,130 个训练图像和 6,019 个验证图像。我们使用验证分割进行跨数据集评估。
Implementation details.。我们提出的 MonoLSS 在 4 个 Tesla V100 GPU 上进行训练批量大小为 16。在没有 MixUp3D 的情况下我们将模型训练 150 个周期之后发生过拟合。使用 MixUp3D 时模型可以训练 600 个 epoch而不会出现过拟合。我们使用 Adam [19] 作为优化器初始学习率为 1e − 3。学习调度器在前 5 个时期具有线性预热策略。按照[40]ROI-Align 大小 d × d 设置为 7 × 7。LSS 在 0.3 × 总历次实验参数后开始进行预热。 4.2 Results quantitative(定量) 4.3 Ablation Study LSS 模块的有效性
如表 5 前 4 行所示LSS 模块可以显着改善 AP。**而作用于方向和尺寸属性时改进相对较小。这是因为深度估计误差是单目 3D 检测中最关键的限制因素**这一点已在 GeoAug [29] 和 MonoDLE [36] 中得到证实。因此为了便于比较在下面的消融实验中LSS模块仅作用于深度属性。
Warm-up的必要性:
表 5 前 3 行的结果显示了预热策略的重要性。如果没有预热第2行LSS将在训练开始时开始随机采样导致真正的负样本可能被迫学习属性而真正的正样本则被丢弃这会显着降低性能简单级别为 21.72 至 17.03。
由于3D属性损失的不稳定性会干扰正样本点的选择因此我们在训练LSS模块时使用预热策略。具体来说在训练的早期阶段所有样本都将用于学习3D属性直到深度损失稳定。前边介绍的
LSS 和 MixUp3D 之间的协同效应。
样本选择策略的比较
我们将LSS模块与其他样本分配策略进行对比结果如表6所示。LSS模块根据对象特征自适应地选择正样本使得AP相对于将固定位置样本点视为正样本的方法有显着改进那些。此外我们的方法还优于使用额外的深度或分割图来选择正样本的方法。 4.4 实验-好词好句
“Specifically, compared with MonoDDE [28] which is the recent top1-ranked image-only method, MonoLSS gains significant improvement of 4.73%/11.73%/12.19% in AP3D and 3.90%/10.61%/10.90% in APBEV relatively on the easy, moderate, and hard levels while IOU 0.7.
问题解答
根据 3.1节,进行样本点选择 对原始数据集进行分组。随机整合 预热训练的方式保证两者发挥最大的效果。
