网站 数据库 sql 导入,google play服务,一个公司网站备案吗,中文网站开发BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers 目录 摘要1 介绍2 相关工作2.1 基于Transformer的2D感知 摘要
3D视觉感知任务对于自动驾驶系统至关重要#xff0c;包括基于多相机图像的3D检测和地图分割。… BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers 目录 摘要1 介绍2 相关工作2.1 基于Transformer的2D感知 摘要
3D视觉感知任务对于自动驾驶系统至关重要包括基于多相机图像的3D检测和地图分割。在这项工作中我们提出了一个名为BEVFormer的新框架它使用时空变换器学习统一的BEV表示以支持多种自动驾驶感知任务。简而言之BEVFormer通过预定义的网格状的BEV查询来进行时空交互以此来利用时空信息。为了聚合空间信息我们设计了空间交叉注意力每个 BEV查询从跨相机视图的感兴趣区域中提取空间特征。对于时间信息我们提出时间自我注意力来循环融合历史BEV信息。我们的方法在 nuScenes 测试集上的NDS指标方面达到了新的最佳水平56.9%比之前的最佳技术高出9.0分与基于LiDAR的基线的性能相当。我们进一步表明BEVFormer显著提高了低能见度条件下速度估计的准确率和目标的召回。代码可以在https://github.com/zhiqi-li/BEVFormer上找到。
1 介绍
3D空间中的感知对于自动驾驶、机器人等各种应用至关重要。尽管基于LiDAR的方法取得了显著进展但基于相机的方法近年来引起了广泛关注。除了部署成本低之外与激光雷达相比相机还具有检测远距离物体和识别基于视觉的道路元素例如交通灯、停止线的理想优势。 图1 我们提出了BEVFormer这是一种自动驾驶范例它应用Transformer和Temporal结构从多相机输入中生成鸟瞰图(BEV)特征。BEV-Former利用查询来查找时空并聚合其信息从而有利于感知任务的更强的表征。
自动驾驶中对周围场景的视觉感知有望根据多个相机给出的二维线索预测三维边界框或语义图。最直接的解决方案是基于单目框架和多相机后处理。该框架的缺点是它分别处理不同的视图无法跨相机捕获信息导致性能和效率较低。
作为单目框架的替代更统一的框架是从多相机图像中提取整体表示。鸟瞰图(BEV)是周围场景的常用表示形式因为它可以清晰地呈现物体的位置和比例适用于各种自动驾驶任务例如感知和规划。尽管先前的地图分割方法证明了BEV的有效性但基于BEV的方法在3D物体检测方面并未表现出比其他范式更显著的优势。根本原因是3D物体检测任务需要强大的BEV特征来支持准确的3D边界框预测但从2D平面生成BEV是不适当的。一种流行的生成BEV特征的 BEV框架基于深度信息但该范式对深度值或深度分布的准确性很敏感。因此基于BEV的方法的检测性能容易受到复合误差的影响不准确的BEV特征会严重损害最终性能。因此我们的目标是设计一种不依赖深度信息并且可以自适应地学习BEV特征而不是严格依赖3D先验的BEV生成方法。Transformer使用注意力机制来动态聚合有价值的特征从概念上满足了你的需求。
使用BEV特征执行感知任务的另一个动机是BEV是连接时间和空间的理想桥梁。对于人类的视觉感知系统来说时间信息在推断物体的运动状态、识别被遮挡的物体等方面起着至关重要的作用视觉领域的许多研究已经证明了利用视频数据的有效性。然而现有的最先进的多相机3D检测方法很少利用时序信息。重大挑战在于自动驾驶对时间至关重要并且场景中的物体变化很快因此简单地堆叠跨时间戳的BEV特征会带来额外的计算成本和干扰信息这可能并不理想。受到循环神经网络(RNN)的启发我们利用BEV特征来循环传递从过去到现在的时间信息这与RNN模型的隐藏状态具有相同的精神。
为此我们提出了一种基于Transformer的鸟瞰图(BEV)编码器称为BEVFormer它可以有效地聚合来自多视角相机的时空特征和历史BEV特征。BEVFormer生成的BEV特征可以同时支持多个3D感知任务例如3D物体检测和地图分割这对于自动驾驶系统非常有价值。如图1所示我们的BEVFormer包含三个关键设计。其一网格状BEV查询通过注意力机制灵活地融合空间和时间特征。其二空间交叉注意模块用于聚合来自多相机图像的空间特征。其三时间自注意力模块从历史BEV特征中提取时间信息这有利于运动物体的速度估计和严重遮挡物体的检测同时带来可忽略不计的计算开销。借助BEVFormer生成的统一特征该模型可以与不同任务特定头如可变形DETR和掩模解码器协作实现端到端3D目标检测和地图分割。我们的主要贡献如下
我们提出了BEVFormer这是一种时空变换器编码器可将多相机和/或时间戳输入投射到BEV表示中。通过统一的BEV特征我们的模型可以同时支持多项自动驾驶感知任务包括3D检测和地图分割。我们设计了可学习的BEV查询以及空间交叉注意层和时间自注意层分别从跨相机中查找空间特征和从历史BEV中查找时间特征然后将它们聚合为统一的BEV特征。我们在多个具有挑战性的基准上对所提出的BEVFormer进行了评估包括nuScenes和Waymo。与现有技术相比我们的BEVFormer性能持续提升。例如在可比较的参数和计算开销下BEVFormer在nuScenes测试集上实现了56.9%的NDS比之前的最佳检测方法DETR3D高出9.0分56.9%对47.9%。对于地图分割任务我们也实现了最先进的性能在最具挑战性的车道分割上比Lift-Splat高出5.0分以上。我们希望这个简单而强大的框架可以作为后续3D感知任务的新基础。
2 相关工作
2.1 基于Transformer的2D感知
最近一种新的趋势是使用transformer来重新制定检测和分割任务。
