网站设置了自动登录怎么显示密码,建设网站公司哪家技术好,沈阳网站建设找哪家,网站单页模板制作软件pdf | proj | code 本文提出一种新的3D数据表达形式3D Gaussians。每个Gaussian由以下参数组成#xff1a;中心点位置、协方差矩阵、可见性、颜色。通过世界坐标系到相机坐标系#xff0c;再到图像坐标系的仿射关系#xff0c;可将3D Gaussian映射到相机坐标系#xff0c;通…
pdf | proj | code 本文提出一种新的3D数据表达形式3D Gaussians。每个Gaussian由以下参数组成中心点位置、协方差矩阵、可见性、颜色。通过世界坐标系到相机坐标系再到图像坐标系的仿射关系可将3D Gaussian映射到相机坐标系通过对z轴积分可得到对应Splatting 2D分布。针对3D Gaussians提出对应的优化方法。去除可见性太低的高斯对回传梯度较大的高斯通过复制克隆等操作增强表达能力。针对3D Gaussians提出对应的光栅化方法。将图像切分为16 x 16的块每个块内对高斯根据深度进行排序。光栅时从前向后遍历当可见性累加到某个阈值即停止。梯度回传时从停止块开始有后向前遍历。 目录
摘要
引言
近期工作
Traditional Scene Reconstruction and Rendering
Neural Rendering and Radiance Fields
Point-Based Rendering and Radiance Fields
Overview
Differentiable 3D Gaussian Splatting
Optimization with Adaptive Density Control of 3D Gaussians
Fast Differentiable Rasterizer for Gaussians
Implementation, Results and Evaluation
Implementation
Results and Evaluation
Real-World Scenes
Synthetic Bounded Scenes
Ablations
Initialization from SfM
Densification
Unlimited depth complexity of splats with gradients
Anisotropic Covariance
Limitations 摘要
NeRF效果好但是训练和渲染很花时间特别是对1080p分辨率渲染的场景现有方法无法实现实时渲染。本文引入三个关键部分实现sota视觉质量、较短训练时间和1080p分辨率下新视角实时渲染。 3D Gaussians。通过camera calibration中产生的稀疏点进行初始化。这种新的3D表达形式在保存NeRF优点的同时避免了空白空间不必要的计算开销Optimization。实现3D Gaussian的交替优化和密度控制优化各向异性协方差矩阵实现对场景的准确表达Rendering。实现快速可见感知渲染算法fast visibility-aware rendering algorithm支持各向异性飞溅anisotropic splatting同时加速训练和渲染。本文在多个数据集上实现sota视觉质量和实时渲染。 引言
Mesh和点云是最常用的3D场景表达这种显式表达非常适合快速GPU/CUDA-based rasterization。另一方面NeRF可建立连续的场景表达用volumetric ray-marching优化MLP实现新视角生成。基于NeRF的高效算法通常会引入一些新的表达形式用插值的方式实现连续表达例如体素voxelhash grids或点云。这些方法效果不错但是渲染中要求的随机采样计算开销大、并且会导致噪声。本文提出的方法3D Gaussian可以实现sota的视觉质量和具有竞争力的训练时间tile-based splatting solution可以实现1080p的实时渲染。本文所提方法由三个主要部分组成。 3D Gaussians通过Structure-from-Motion (SfM) 相机标定得到的稀疏点云初始化对于NeRF-synthetic dataset本文方法在随机初始化情况下也可取得较好的结果。3D Gaussian的优点在于a可导的体表示b通过映射至2D实现高效栅格化c可以实施标准的alpha-blending优化提出一种优化3D Gaussians参数的方法参数包括3D positionopacity alphaanisotropic covariance和球谐系数spherical harmonic coefficients。优化方法交替执行密度控制步在优化过程中增加或去除3D Gaussians。渲染提出一种快速GPU排序算法受tile-based rasterization方法启发。实现各向异性纹理飞溅anisotropic splatting一种可见性排序visibility ordering。受益于排序和alpha-blending可以实现快速和准确的反向传播。 近期工作
Traditional Scene Reconstruction and Rendering
light fields (1996) - Structure-from-Motion (SfM2006) - multi-view stereo (MVS2007)MVS-based方法会重投影re-project并融合blend输入图片到新相机视角使用几何引导重投影。 Neural Rendering and Radiance Fields
Soft3D (2017首次提出Volumetric representations) - 将深度学习技术应用到volumetric ray-marching2019- NeRF (2020提出importance sampling和postional encoding但是较大MLP影响了速度) - MipNeRF3602022sota视觉效果但训练和渲染时间太长为了加速训练或渲染现有的探索集中在三个方向稀疏数据结构存储特征不同的编码器和MLP容量。其中值得一提的方法是InstantNGP2022该方法使用hash grid和occupancy grid来加速计算用一个较小的MLP表示密度和外观。Plenoxels2022使用稀疏体素网格插值表示连续密度场并且能够不使用MLP。尽管上述方法产生了很好的结果这些方法仍然不能高效表示空白区域。 Point-Based Rendering and Radiance Fields
-blending和体渲染volumetric rendering本质上是相同的成像模型。对于体渲染方法 其中是密度是透光率是颜色是相邻采样点的间隙。密度越大越接近1该点越重要之前点的密度和越大越大该点越不重要。上式可以被重新组织为 alpha-blending可以表示为 其中所有点根据前后关系排序是该点颜色是该点所在2D高斯的概率密度乘以该点的不透明性opacity。
相较于之前的-blending栅格化方法本文提出可见性visibility排序。另外本文反向传播梯度到像素点中的所有splats栅格化所有各向异性splats。 Overview
Initialization给定静态场景的一组图片和对应经过SfM校准的相机参数以及SfM在校准过程中产生的稀疏点云3D Gaussians给定稀疏点云初始化3D Gaussians每个3D Gaussian由位置mean协方差矩阵和不透明性决定辐射场中指向性外观部分颜色通过spherical harmonics (SH) 表征Optimization逐步优化3D Gaussians的参数位置、协方差矩阵、和SH系数Renderingtile-based rasterizer支持根据可见性顺序的各向异性splats的-blending Differentiable 3D Gaussian Splatting
在世界坐标系下3D Gaussians由三个系数定义均值3D协方差矩阵和 将世界坐标系下的3D Gaussians转换到相机坐标下 其中是世界坐标系坐标到相机坐标系坐标的转换矩阵是透视变换的Jacobian矩阵。 参考EWA Volume Splatting View transformation将世界坐标系下坐标转换到相机坐标系。假设是世界坐标系下坐标是相机坐标系下坐标则有仿射变换可得。Projective Transformation透视变换将相机坐标系下坐标转换到图像空间该转换不是仿射变换。假设是图像空间下坐标则有。由于该变换不是放射变换因此考虑得到局部放射近似其中。最终可得。 协方差矩阵具有物理含义需要满足半正定条件。考虑协方差矩阵描述了一个标准球体向椭球体的变化过程对标准球体先放缩再旋转 因此缩放可以用三维向量描述也即协方差矩阵的三个特征值。旋转其实是三个特征向量它们两两正交且模为1通过分析可由四维向量描述。
综上一个3D Gaussian可由三个缩放系数、四个旋转系数、中心点位置和不透明率表示。除了上述提到的参数外本文还用SH系数表示颜色。 Optimization with Adaptive Density Control of 3D Gaussians
不透明率通过sigmoid激活函数映射至0到1之间。损失函数如下
Gaussian的优化过程中本文考虑以下两种情况
异常移除小于阈值的高斯。梯度异常梯度超过阈值时本文认为梯度异常考虑存在under-reconstruction或over-reconstruction under-reconstructionGaussians太小了不能覆盖必要几何。本文考虑复制相同大小的Gaussian新Gaussian放至位置梯度所指方向over-reconstruction对于方差太大的Gaussians本文将其拆分为两个Gaussians两个都缩放新Gaussian的位置通过在旧Gaussian中采样决定。特殊情况 漂浮物floaters会导致Gaussian密度的异常增加。本文提出每 iter将所有设置为近似为0的值。在优化后对于没有增大的Gaussian则根据前述规则去除掉。对于具有非常大worldspace和相机坐标中具有较大footprint的Gaussian也会去除掉。 Fast Differentiable Rasterizer for Gaussians
提出一种tile-based rasterizer
光栅化 将屏幕划分为16 x 16块一次性预排序所有primitives避免针对每个像素排序的开销仅保留有99%置信度的Gaussians用保护带guard band拒绝极端位置的高斯例如距离平面太近或在视锥体之外太远的高斯实例化高斯并赋予每个高斯一个键值包括视觉空间深度和块ID根据键值排序高斯。对于每个块得到一个根据深度由近到深排序的列表在光栅化过程中每个块使用一个线程去处理每个线程首先将Gaussians加载到shared memory。对于给定像素点从前往后遍历列表根据加权求和颜色。当达到目标饱和值时该进程停止得到该像素点的颜色。梯度回传从最后一个点从后往前遍历列表选择对应的Gaussian反传梯度。 Implementation, Results and Evaluation
Implementation
Pytorch 用于光栅化的custom CUDA kernels Results and Evaluation
Real-World Scenes Synthetic Bounded Scenes
30K迭代后每个场景由200-500K Gaussians组成 Ablations Initialization from SfM Densification Unlimited depth complexity of splats with gradients Anisotropic Covariance Limitations
对于缺乏训练数据的场景存在失真Mip-NeRF360也存在 存在拉长失真elongated artifacts比较脏的高斯splotchy GaussiansMip-NeRF360也有 相较于NeRF-based方法内存开销大需要20GB GPU memory
