网易做的什么网站,wordpress文章代码,渝中网站公司,有源码如何搭建appSLAIM#xff1a;一个实时的RGB-D NeRF-SLAM系统与现有的NeRF-SLAM系统相比#xff0c;我们的方法在跟踪性能上始终表现出更强的竞争力。我们的方法采用体积密度表示#xff0c;并引入了一种新的KL正则化器在射线终止分布上#xff0c;将场景几何限制为空隙空间和不透明表面… SLAIM一个实时的RGB-D NeRF-SLAM系统与现有的NeRF-SLAM系统相比我们的方法在跟踪性能上始终表现出更强的竞争力。我们的方法采用体积密度表示并引入了一种新的KL正则化器在射线终止分布上将场景几何限制为空隙空间和不透明表面。https://mp.weixin.qq.com/s/YzUdxIIvgebqpszaL1okLA 01 引言
尽管最近的NeRF-SLAM系统在跟踪和3D重建方面取得了进展但它们的跟踪性能通常仍然不如传统的SLAM系统。一些最近的工作通过使用高斯金字塔滤波器来平滑输入信号从而扩大了优化损失函数的吸引域以避免陷入局部最小值。
本文提出了一种名为SLAIM的基于神经辐射场(NeRF)的鲁棒稠密实时RGB-D SLAM系统该系统能够在线进行跟踪和建图。作者指出现有的NeRF-SLAM系统在跟踪性能上通常不如传统的SLAM系统。为了解决这个问题作者提出了一种新的基于NeRF的粗细粒度跟踪和建图方法。 02 方法
作者提出了一个基于高斯金字塔滤波的粗细粒度跟踪和建图方法。他们首先在重建的图像和真实图像上都应用了高斯金字塔滤波器以在早期迭代中有效平滑输入信号从而扩大优化损失函数的吸引域避免陷入局部最小值。然后他们通过在多个金字塔层上采样像素并计算对应的颜色和深度值来限制NeRF像素重建的范围。 2.1 NeRF pre-requisites
该节介绍了NeRF的预先要求包括
· 使用多分辨率哈希网格表示场景几何并使用两个浅层MLP解码器来估计给定3D输入位置的颜色和密度。
· 定义了射线终止分布并通过采样方法将其近似为高斯分布。 · 渲染颜色和深度像素时使用alpha合成沿射线的值。
· 场景被限制在单位立方体内并且使用固定步长进行均匀采样。 2.2 Depth Supervision
该节介绍了使用深度监督的重要性。使用直接对深度值进行回归的方法可能会导致在只有有限视角的区域出现重构错误。因此作者提出了一种新的方法通过在射线终止分布上应用KL正则化使其成为单峰分布并将其中心对准深度测量。 2.3 Coarse-to-fine Tracking and Mapping
该节提出了一种基于高斯金字塔滤波的粗细粒度跟踪和建图方法。使用高斯金字塔滤波器平滑输入信号以在早期迭代中扩大优化损失函数的吸引域避免陷入局部最小值。在重建图像和真实图像上都应用了高斯金字塔滤波器。
· 高斯金字塔滤波作者在重建的图像和真实图像上都应用了高斯金字塔滤波器以在早期迭代中有效平滑输入信号从而扩大优化损失函数的吸引域避免陷入局部最小值。具体来说作者在重建图像上使用了卷积滤波器在真实图像上使用了中值滤波器。
· 像素采样作者在多个金字塔层上采样像素并计算对应的颜色和深度值来限制NeRF像素重建的范围。这个采样范围对应于原始图像的某一感受野。
· 粗细粒度跟踪和建图作者将这种粗细粒度的策略应用于跟踪和建图过程中。在跟踪过程中作者首先在粗粒度图像上进行局部束调整然后在细粒度图像上进行全局束调整以获得最佳的跟踪和重建结果。在建图过程中作者首先在粗粒度图像上进行局部优化然后在细粒度图像上进行全局优化。 03 实验
作者在多个数据集(ScanNet, TUM, Replica)上进行了实验结果表明与仅使用粗粒度或细粒度的方法相比这种联合使用可以获得更好的跟踪和重建性能。 04 结论
本论文介绍SLAIM一个鲁棒的实时的RGB-D NeRF-SLAM系统能够在实时中进行在线跟踪和建图。与现有的NeRF-SLAM系统相比我们的方法在跟踪性能上始终表现出更强的竞争力。我们的方法采用体积密度表示并引入了一种新的KL正则化器在射线终止分布上将场景几何限制为空隙空间和不透明表面。我们的解决方案实现了局部和全局束调整以产生一个稳健粗细粒度和准确KL正则化的SLAM解决方案。
我们在多个数据集ScanNet, TUM, Replica上进行了实验结果显示在跟踪和重建准确性方面我们的方法取得了最先进的结果。我们的方法是第一个在跟踪和3D重建方面同时达到最先进水平的NeRF-SLAM系统。
