网站备案信息,如何注册公司官网,网站建设内容规划,西凤酒网站建设的基本情况来源#xff1a;ECCV2022
链接#xff1a;Efficient Point Cloud Segmentation with Geometry-Aware Sparse Networks | SpringerLink
0、Abstract 在点云学习中#xff0c;稀疏性和几何性是两个核心特性。近年来#xff0c;为了提高点云语义分割的性能#xff0c;人们提…来源ECCV2022
链接Efficient Point Cloud Segmentation with Geometry-Aware Sparse Networks | SpringerLink
0、Abstract 在点云学习中稀疏性和几何性是两个核心特性。近年来为了提高点云语义分割的性能人们提出了许多通过单个表示或多个表示的方法。然而这些作品未能保持性能、效率和内存消耗之间的平衡无法恰当地集成稀疏性和几何体。为了解决这些问题我们提出了几何感知稀疏网络(GASN)利用点云在单个体素表示中的稀疏性和几何特征。GASN主要由稀疏特征编码器和稀疏几何特征增强两个模块组成。稀疏特征编码器提取局部上下文信息稀疏几何特征增强增强稀疏点云的几何特性以提高效率和性能。此外我们在训练阶段提出了深度稀疏监督以帮助收敛和缓解内存消耗问题。我们的GASN在SemanticKITTI和Nuscenes数据集上都实现了最先进的性能同时运行速度显著加快和消耗更少的内存。
1 Introduction 大规模室外点云分割一直是自动驾驶系统的关键任务对效率、性能和内存消耗都有很高的要求。PointNet[29]和PointNet[30]是直接在原始点云上操作维护和利用点云的核心属性之一点态几何(精确测量信息)的开创性工作。然而由于内存消耗和运行时效率的原因很难将这些方法应用到户外场景中。RandLA[14]采用了随机抽样策略来减少点数以提高效率但这会导致一些信息的丢失。随着稀疏卷积的普及[10,50]基于稀疏体素的表示(如AF2S3Net[6]和Cylinder3D[59])也有了一定的进展稀疏体素表示是一种保留度量空间的表示。与点表示方法相比稀疏体素表示方法的优点在于能够有效地快速扩展接受域这是点云的另一个重要特性。此外基于稀疏体素的表示方法聚集了局部邻域内的点特征可以显著减少内存的使用。此外传统的或目前流行的卷积神经网络(convolutional neural networks, cnn)可以直接应用于提取更好的上下文信息。 最近一些作品认识到单一表示的局限性并通过组合多个表示来探索更丰富的信息。PVCNN[21]融合了基于点和基于体素的表示与MLP层和密集的3D卷积层但没有考虑到点云稀疏性。SPVCNN[35]和DRINet[52]设计了稀疏卷积层和逐点运算层融合了稀疏性和几何特征。此外RPVNet[47]结合了范围视图、点和体素表示用于点云分割。当前多表示学习的总体框架是利用稀疏卷积进行局域性和稀疏性学习利用点态运算进行几何学习目的是将稀疏性和几何性结合起来以获得更好的性能和效率。虽然这些方法带来了一些性能改进但由于额外的视图或表示带来了额外的计算成本它们的效率不足以满足实时系统的需要。同时从这些方法的实验结果来看基于体素的表示仍然是主要的表示方法这些方法已经取得了不错的性能。受到这些观察的启发我们提出了几何感知稀疏网络以探索基于单个稀疏体素表示的额外几何属性。我们的几何感知稀疏网络将稀疏性和几何性结合在一个表示中而不引入多表示融合的额外计算成本。我们的几何感知稀疏网络有两个模块:稀疏特征编码器(SFE)和稀疏几何特征增强(SGFE)。每个模块以另一个模块的输出作为输入以较低的计算成本和内存使用量充分探索点云的稀疏性和几何形状。在SGFE中(如图1所示)我们提出了一种新型的多尺度稀疏投影层以探索更多的几何形状和关注尺度选择的多尺度特征选择。除此之外与最常见的密集方式相比我们采用了深度稀疏监管来缓解内存消耗的压力。 我们的贡献总结如下:
•我们提出了一种新颖的网络架构以充分利用稀疏性和几何性质。提出了稀疏几何特征增强中的多尺度稀疏投影层和注意尺度选择来增强几何特征学习。
•提出深度稀疏监管以稀疏方式设计监管以降低存储成本。
•我们在大规模户外场景数据集上评估了我们提出的方法包括SemanticKITTI[1]和nuScenes-lidarseg[3]以证明我们的方法的有效性。在Nvidia RTX 2080 Ti GPU上我们在两个数据集上都实现了最先进的性能平均运行速度为59 ms。
2 Related Work
Indoor Point Cloud Segmentation.
室内场景中的点云往往具有定位紧密、范围小的点。现有的室内点云分割方法可以根据其模型表示进行分类。对于基于点的方法PointNet[29]、PointNet[29]以及他们基于类似架构的相关作品[19,20,28,31,45,53]是本任务中比较流行的模型。这些作品大多探索了当地的邻里环境同时保留了点云的固有几何形状。它们使用不同的分组和排列不变操作来提高性能。其他主流方法[16,17,21,25,33]遵循体积表示将空间划分为离散像素/体素然后将2D/3D CNN架构应用于规则表示。基于图的点云学习方法[37,40,41,43,48,55]也很流行这是因为图具有处理无序性和建模点之间关系的能力。目前随着变压器的普及一些作品[11,56]通过引入基于变压器的架构在室内点云学习中取得了最先进的性能。虽然已经提出了许多新的体系结构来改善点云学习但其中一些无法推广到数千个点的户外场景。
Outdoor Point Cloud Segmentation
与室内点云分割相比现有的方法由于点云的稀疏性和数量较多而面临很大的挑战。KPConv[38]、RandLA[14]等基于点的方法扩展了PointNet[29]或PointNet[30]的体系结构采用采样策略来缓解这些问题但会导致额外的信息丢失。KPConv[38]引入核点选择过程生成高质量的采样点。基于距离视图的方法[8,44,46]将点云投影到距离视图或球形表示中并应用高效的CNN架构。然而范围视图不能维护度量空间并引入失真这可能会导致性能下降。其他一些方法[6,7,49,54,59]将点云量化到一些预定义的空间或表示中(例如极坐标网格、二维网格和稀疏三维网格)然后应用规则卷积神经网络或稀疏卷积[10,42,50]来实现效率和性能之间的平衡。有一组作品集成了多种表示包括范围视图、体素表示和点表示以深入挖掘不同表示的潜力[21,35,47,52]。这些作品针对不同的表示采用了不同的架构并提出了不同的融合策略与基于单一表示的方法相比表现出了强大的性能增益但代价是额外的运行时间。
Image Segmentation to Point Cloud Segmentation.
全卷积网络(FCN)[22]是利用深度学习进行图像分割的先驱作品之一。DeepLab[4]、PSPNet[57]等人在FCN和现有流行的CNN架构的基础上提出了多尺度或多膨胀率策略来挖掘更层次的局部上下文信息[5,51]。此外HRNet[34]将不同分辨率的热图融合在一个框架中保持高分辨率以提高性能。考虑到图像分割的巨大过程很多作品[26,39,52,54,59]都将这些技巧应用到点云分割中包括层次学习、注意机制或骨干网。一些著作[7,59]建立在具有稀疏卷积加速度的U-net[32]上。
3 Approach 该方法的整体网络结构由两个模块组成:1)稀疏特征编码器和2)稀疏几何特征增强。稀疏特征编码器(Sparse Feature Encoder)是快速局部上下文聚合的基本块。稀疏几何特征增强以稀疏特征编码器的输出作为输入通过多尺度稀疏投影和注意尺度选择层对几何信息进行增强。两个模块在稀疏空间中交互节省了计算量提高了运行效率。此外我们在体素水平上应用深度稀疏监督以缓解密集监督导致的内存问题。图2展示了我们提出的方法的总体框架。 图二。GASN的整体结构。在图的上半部分首先将LiDAR输入体素化为稀疏特征。然后稀疏特征编码器利用稀疏卷积对稀疏特征进行处理。此外稀疏几何特征增强通过多尺度稀疏投影和注意尺度选择层对特征进行增强生成下一阶段的稀疏特征编码器的输入。稀疏监督作为辅助损耗附加在稀疏特征编码器的输出上。底线描述了多尺度稀疏投影和注意尺度选择的细节。N是点的数量Mi是体素的数量CE是通道维数。这个是怎么循环吗大概意思是紫色方块内是不同分辨率的体素特征融合到原始的体素特征上黄色为不同分辨率融合的的特征最终要行程一个特征采用的方式加权权值是不同分辨率混的的结果
3.1 Prerequisite
Voxelization.
给定网格尺寸s体素化是将点pi (xi,yi,zi)离散为其体素指数Vi的过程通过以下公式: 其中·为向下取整功能。Vi表示为第i点pi的体素指数的标量并且。由于每个体素可以包含多个点或多个细粒度的亚体素我们定义了分散函数Ψ和收集函数Φ该函数在[52,58]中被广泛使用其中前者在较大的体素尺度下进行聚类过程将点特征或亚体素特征聚类到体素特征而后者则从体素特征V反转到点特征或亚体素特征S: 其中C为通道号和为点云的体素索引为体素特征的体素索引相同。Eq. 2和Eq. 3主要揭示点特征与体素特征之间的相互转换:散点和聚点。为了将原始点云转换为体素特征我们使用了类似于在DRINet[52]和Cylinder3D[59]中使用的方法即GAFE。
3.2 Sparse Feature Encoder
稀疏体素表示使得应用标准的卷积运算来提取局部上下文信息变得容易。因此为了保持较高的运行效率和探索更多的局部性我们使用了稀疏卷积层[10,42,50]而不是密集卷积层[21]。稀疏卷积的优点之一在于稀疏性卷积运算只考虑非空体素。在此基础上我们利用稀疏卷积构造稀疏特征编码器(SFE)以较低的计算量快速扩展感受野。我们采用ResNet瓶颈[12]而将ReLU激活替换为Leaky ReLU激活[24]。为了保持较高的效率所有用于稀疏卷积的信道数都设置为64。
3.3 Sparse Geometry Feature Enhancement
在从稀疏特征编码器获得稀疏体素特征后我们的目标是通过稀疏几何特征增强(SGFE)以更多的几何指导增强体素特征。
Multi-scale Sparse Projection Layer
受前人[30,52,57]的多尺度特征聚合研究的启发我们注意到分层的上下文信息有助于增强特征提取能力特别是对于具有固有尺度不变性和几何形状的点云。多尺度特征为点云学习带来了更多的几何增强因为每个体素尺度反映了一个特定的物理维度属性。但是由于点云的稀疏性直接应用PSPNet[57]中的金字塔池模块是不适用的。此外DRINet[52]通过分散操作提出了点级的点池但在考虑大规模场景时引入了额外的巨大内存成本。因此我们通过散射运算提出了多尺度稀疏级别但在考虑大规模场景时引入了额外的巨大内存开销。因此我们提出了多尺度稀疏投影层Multi-scale Sparse Projection Layer以更低的存储成本在稀疏体素水平上利用多尺度特征。
给定输入体素特性对应体素索引V预定义池化比例集S其中NV为体素数C为通道数。多尺度稀疏投影在算法1中描述。不同尺度包含不同的几何先验因为点云中的尺度语义与真实维度成正比反映了物理度量空间。对于每个池化尺度s我们首先重新计算尺度s下的体素索引以确保相同池化窗口内的特性具有相同的体素索引。然后我们应用Scatter运算Ψ进行稀疏池化以在每个池化区域内获得局部几何先验的特征均值其中NVs为尺度下的体素数嵌入特征是基于具有可学习MLP层的归一化特征。然后我们使用张量元素乘法来获得尺度s下的投影特征。最后揭示不同尺度下几何形状的特征被叠加在一起。
这一步获得不同体素尺度下的特征上图紫色部分 Attentive Scale Selection. (怎么和图有点不大一样) 从多尺度稀疏投影层获取多尺度特征后多尺度特征融合的简单方法是应用张量拼接或张量求和。因此来自不同尺度的所有特征都具有相同的权重并被同等对待。在点云中有一个共识即不同尺度的特征具有不同的几何先验并侧重于场景理解。从这个角度出发在SENet[13]和SKNet[18]的激励下融合多尺度特征的更好方法是在尺度维度上对每个特征通道采用重加权策略重新分配每个尺度的重要性。 我们首先对第一阶段融合的所有输入张量{Os|s∈s}求和收集不同尺度的所有信息如下所示:
其中在求和的特征中。受最近流行的关注作品[18]的启发我们应用了一个尺度上的具有sigmoid激活的MLP层来得到每个尺度的注意嵌入。最后应用注意权值张量与多尺度特征的张量相乘得到尺度维的张量和: 其中A O∈RNV×C是SGFE模块的输出注意事项。图3展示了整个过程。 3.4 Deep Sparse Supervision
在二维和三维语义分割任务中对每个像素/体素进行密集监控是一种流行的方法。之前的方法[54,59]通过密集的监督生成密集的特征图。虽然这些作品在其网络架构中考虑了稀疏性但在设计损耗时却忽略了这一特性而损耗是2D和3D数据的关键区别之一。事实上使用细粒度特性映射的密集监控会给内存使用带来严重的过载。例如当使用0.2 m的网格时对于具有20个类的单一密集特征图内存消耗(大约500 Mb)可能会有问题。在此基础上受[23]的启发我们提出了一种新的深度稀疏监督(DSS)方法来处理深度稀疏的监督问题。
具体来说我们在训练阶段生成不同尺度的体素语义标签监督只对有效体素起作用而不是对整个密集的特征图起作用。每个体素标签都使用体素内的主要投票点标签进行分配。由于我们在不同尺度上叠加了生成稀疏体素特征的多个SFE块我们将稀疏监督作为辅助损失逐步应用于输出体素特征这是一种有用的优化技术。我们还对主最终预测分支应用了稀疏监督。辅助损耗有助于优化训练而主分支损耗占梯度的大部分。
在测试阶段所有辅助分支都被禁用以保持运行时效率。这种训练策略在基于图像的分割[22]中已经证明了其有效性。我们考虑了点云的稀疏性并以稀疏的方式应用它以节省内存消耗。
多层分辨率的损失函数旨在训练用计算损失函数只再有内容的上计算
3.5 Final Prediction
对于最终的语义预测我们将每个稀疏几何特征增强层输出的多阶段特征通过收集操作融合到最细粒度的体素尺度上。为了获得逐点结果我们还采用了收集策略即每个点都附加其所在体素的语义特征。我们框架的整个算法在算法2中进行了说明。 4 Experiments
我们在大规模户外场景数据集SemanticKITTI[1]和Nuscenes[3]上进行了实验验证了所提方法的有效性。除此之外我们还进行消融研究来验证所提议的组件。
4.1 Datasets
SemanticKITTI.
Nuscenes.
网络细节。我们对两个数据集使用相同的设置。我们沿着xyz维度用0.2 m的体素尺度量化点云以生成初始稀疏体素特征。我们用稀疏特征编码器和稀疏几何特征增强四个块设计了几何感知稀疏网络。在消融研究中我们也评估了块数选择对性能和效率的影响。对于多尺度稀疏投影层我们采用核大小和stride[2, 4, 6, 8]可以覆盖粗池和细池区域。与之前的研究类似我们在训练阶段采用了随机翻转、随机点辍学、随机尺度和全局旋转等方法。在损耗设计中我们结合了Lovasz损耗[2]和交叉熵损耗作为监督。使用了Adam优化器[15]初始学习率为0.0002批处理大小为4用于50个epoch。学习速率每15个epoch以0.1的比率衰减。
4.2 Results On SemanticKITTI
单次扫描:我们在表1中提供了我们的几何感知稀疏网络以及其他最新方法的每类详细定量结果。与以前的方法相比我们的GASN在保持实时推理效率的同时实现了最先进的性能。虽然我们的几何感知稀疏网络并不是每个类都能达到最好的结果但它在所有类之间都达到了平衡的结果。即使与多种表示融合方法相比[35,47,52]我们的方法仍然有相当大的优势。 此外我们还对一些最先进的方法和表2中的GASN的模型复杂性和延迟进行了定量分析以说明我们的方法的高性能时间比。与以往的方法相比该方法以最小的计算成本获得了最佳的mIoU结果证明了该方法的有效性和有效性。SemanticKITTI验证集上的一些定量结果如图4所示。 SemanticKITTI Multiple Scans:同时我们也对SemanticKITTI Multiple Scans挑战进行实验以验证我们的GASN的有效性。在该任务中我们直接将多个对齐的扫描图像叠加为输入不需要任何时间融合算法然后根据算法2生成逐点输出预测。我们不应用任何后期处理来细化。如表3所示与之前的方法相比我们的几何感知稀疏网络在两个指标上都有了显著的改进。与同样基于体素的AF2S3Net[6]算法相比该算法获得了非常有竞争力的收益(约4.4%)。我们的方法几乎在所有方面都超过了现有的方法证明了我们的方法的有效性和泛化能力。为此GASN可以作为大规模点云语义分割任务的高效、强大的骨干。 4.3 Results On Nuscenes
为了验证我们的方法的泛化能力我们还报告了测试集上Nuscenes-lidarSeg[3]任务的结果。如表4所示GASN取得了非常强的结果16个大类中有10个优于其他方法。对于行人类、摩托车类等规模较小的类稀疏几何特征增强效果显著证明了我们通过分层特征学习和注意尺度选择来捕获和整合多尺度上下文信息的稀疏几何特征增强的有效性。 4.4 Ablation Study
Components Study
我们的基线模型如表5所示只使用了稀疏特征编码器已经取得了不错的性能。结果表明稀疏卷积体素表示在室外点云语义分割任务中具有较强的特征提取和上下文信息学习能力。多尺度稀疏投影层捕获层次几何信息的能力提高了1.8%。此外我们运用细心的尺度选择来重新分配每个尺度对每个渠道的重要性。这种策略使网络的焦点集中在更显著的规模上性能增益约为1.9%。其次在训练阶段加入深度稀疏监督mIoU提高到69.4%提高了1.7%。更重要的是当推理时深度稀疏监督将被禁用不会为部署带来额外的计算成本。 block个数
块数的选择在网络中起着至关重要的作用。更少的块可能会导致欠拟合问题而更多的块意味着更多的计算成本和内存消耗这意味着效率低下。为了找到更好的块数我们进行了改变该参数的实验。当块号为1 - 5时性能分别为50.8%、61.3%、67.4%、69.4%和69.9%速度分别为26 ms、33 ms、41 ms、59 ms和70 ms。当块数增加到5时性能从50.8%增加到70.2%而运行速度几乎翻倍。此外当块号为4时增加一个块会引入额外的11 ms延迟而mIoU仅提高了约0.5%。因此我们在实验中选择block number为4。
Scale Features Fusion Strategy
通过与不同融合策略的比较分析了所提算法的有效性。我们采用了特征融合中常用的张量拼接和张量求和方法。对于这项工作我们使所有其他建议的模块能够进行公平的比较。如表6所示ASS层是融合多尺度特征的较好方法与张量求和相比增加了2.0%但只带来了2ms的代价。表7还显示其他利用多种表示的模型也可以从ASS策略中受益。与DRINet[52]相比原来的SPVCNN[35]在逐点分支中不存在分层学习启用ASS后其性能会有所提高。 Sparse or Dense Supervision 深度稀疏监管是我们GASN的另一个特征。在这个实验中我们比较了稀疏和密集监控的内存成本和性能。为了简单起见我们去掉了深度辅助损失分支只留下主要监督。稀疏和密集监督的内存消耗都只包括预测张量和标记张量而不包括梯度张量的内存消耗。稀疏监视(6 Mb)的内存占用率仅为密集监视(552 Mb)的1%左右且两种方法的结果接近分别为69.4%和69.5%。通过引入稀疏监督我们可以使用更大的批量进行训练从而实现高效的训练。
Deep Sparse Supervision.
我们的深度稀疏监督可以作为点云语义分割任务的一个通用组件并将该策略与其他流行的模型相结合验证其有效性。如表7所示深度稀疏监督可以在不增加推理计算开销的情况下提高流行模型的性能。
Voxel Size
为了选择最适合实验的体素尺寸我们还进行了实验来验证效果。如表8所示运行速度、内存消耗和性能随着体素尺寸的增大而显著下降。因此我们在实验中选择体素尺寸为0.2 m。 5 Conclusion
在本文中我们提出了我们的几何感知稀疏网络作为一个有效的网络体系结构的点云分割。我们的GASN通过充分利用稀疏体素表示中的稀疏性和几何形状来处理点云分割以保持性能和效率。GASN由稀疏特征编码器(SFE)和稀疏几何特征增强(SGFE)组成。SFE可以提取局部上下文信息而SFE可以通过多尺度稀疏投影和注意尺度选择来增强几何形状。此外我们采用深度稀疏监督的方法以较低的内存开销加速收敛。在大型户外场景数据集上的实验表明我们的方法实现了最先进的性能和令人印象深刻的运行效率
自己总结
1、稀疏特征编码器(SFE)和稀疏几何特征增强(SGFE)这两个模块顺序是怎么一次前向传播传递的呢
2、Attentive Scale Selection 实际上是不同尺度的特征融合的方法
3、稀疏卷积稀疏监督
