贺卡制作网站,合肥网络seo推广服务,设计logo免费生成器,国外网站ABEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework BEVFusion#xff1a;一个简单而强大的LiDAR-相机融合框架
NeurIPS 2022
多模态传感器融合意味着信息互补、稳定#xff0c;是自动驾驶感知的重要一环#xff0c;本文注重工业落地#xff0c;实际应用
融…BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework BEVFusion一个简单而强大的LiDAR-相机融合框架
NeurIPS 2022
多模态传感器融合意味着信息互补、稳定是自动驾驶感知的重要一环本文注重工业落地实际应用
融合方案: 前融合数据级融合指通过空间对齐直接融合不同模态的原始传感器数据。 深度融合特征级融合指通过级联或者元素相乘在特征空间中融合跨模态数据。 后融合目标级融合指将各模态模型的预测结果进行融合做出最终决策。
// 框架与以前的激光雷达-相机融合方法的比较: a.将图像特征投影到原始点云上的点级融合机制 从点出发从点云中采样一些点然后根据相机的内参和外参矩阵投影到图像上采样到图像特征然后拼接回点云利用融合后的特征经过点云处理模块去做3D检测
b.将LiDAR 特征或建议分别投影到每个视图图像上以提取RGB信息的特征级融合机制 将两种模态的中间特征通过内外参矩阵拼接投影融合出完整的特征传递的是query,输入点云通过一个点云网络得到初始位置初始位置去图像上采样特征采样完再拼接到原始点云特征上
c.提出将相机网络与LiDAR输入分离 相机内外参偏差点云投影会有偏差相机卡帧雷达出问题 前两种有主次依赖关系一方出错影响另一方故提出并行框架
///
BEVFusion主体结构 包括相机模块Camera Stream点云模块LiDAR Stream以及融合模块
图像分支
Camera Stream设计流程 步骤12D Backbone提取基础图像特征(LSS) 步骤2FPNADP多尺度特征融合 步骤32D → 3D特征转换模块 步骤43D → BEV特征编码模块 输出Camera BEV Features // FPNADP设计流程 输入基础图像特征 步骤1每层特征使用ADP模块 步骤2ADP模块包括上采样、池化、卷积 步骤3多层特征融合 输出多尺度融合特征
/ 2D → 3D特征转换模块: 输入多尺度融合特征 步骤1深度分布估计 步骤22D到3D投影计算 输出3D伪体素特征 /
点云分支
LiDAR Stream设计流程 输入原始点云 主要步骤通过3D Backbone处理原始点云数据同时压缩到BEV空间生成BEV特征 输出LiDAR BEV Features 用的是 pointpillar结构 点柱 Fusion Module 融合模块 Fusion Module设计流程 输入点云和图像BEV特征 步骤1按通道维度级联点云和图像BEV特征再通过卷积网络提取级联后的特征 步骤2通过全局平均池化和卷积预测实现对级联特征的自适应挑选 输出融合后的特征
/ 模态消融实验 多模态的可行性橙色框表示该范围内物体点云信息被丢弃但BEVFusion可以通过camera分支恢复 nuScenes验证集(上)和测试集(下)的结果: / 阿里北大版本的bevfusion环境部署 首先git项目 https://github.com/ADLab-AutoDrive/BEVFusion.git
mmdet - INFO - Environment info:
------------------------------------------------------------
sys.platform: linux
Python: 3.8.3 (default, Jul 2 2020, 16:21:59) [GCC 7.3.0]
CUDA available: True
GPU 0,1: NVIDIA GeForce RTX 3090
CUDA_HOME: /usr/local/cuda
NVCC: Build cuda_11.1.TC455_06.29190527_0
GCC: gcc (Ubuntu 7.5.0-3ubuntu1~18.04) 7.5.0
PyTorch: 1.8.0cu111
PyTorch compiling details: PyTorch built with:- GCC 7.3- C Version: 201402- Intel(R) Math Kernel Library Version 2020.0.0 Product Build 20191122 for Intel(R) 64 architecture applications- Intel(R) MKL-DNN v1.7.0 (Git Hash 7aed236906b1f7a05c0917e5257a1af05e9ff683)- OpenMP 201511 (a.k.a. OpenMP 4.5)- NNPACK is enabled- CPU capability usage: AVX2- CUDA Runtime 11.1- NVCC architecture flags: -gencode;archcompute_37,codesm_37;-gencode;archcompute_50,codesm_50;-gencode;archcompute_60,codesm_60;-gencode;archcompute_70,codesm_70;-gencode;archcompute_75,codesm_75;-gencode;archcompute_80,codesm_80;-gencode;archcompute_86,codesm_86- CuDNN 8.0.5- Magma 2.5.2- Build settings: BLAS_INFOmkl, BUILD_TYPERelease, CUDA_VERSION11.1, CUDNN_VERSION8.0.5, CXX_COMPILER/opt/rh/devtoolset-7/root/usr/bin/c, CXX_FLAGS -Wno-deprecated -fvisibility-inlines-hidden -DUSE_PTHREADPOOL -fopenmp -DNDEBUG -DUSE_KINETO -DUSE_FBGEMM -DUSE_QNNPACK -DUSE_PYTORCH_QNNPACK -DUSE_XNNPACK -O2 -fPIC -Wno-narrowing -Wall -Wextra -Werrorreturn-type -Wno-missing-field-initializers -Wno-type-limits -Wno-array-bounds -Wno-unknown-pragmas -Wno-sign-compare -Wno-unused-parameter -Wno-unused-variable -Wno-unused-function -Wno-unused-result -Wno-unused-local-typedefs -Wno-strict-overflow -Wno-strict-aliasing -Wno-errordeprecated-declarations -Wno-stringop-overflow -Wno-psabi -Wno-errorpedantic -Wno-errorredundant-decls -Wno-errorold-style-cast -fdiagnostics-coloralways -faligned-new -Wno-unused-but-set-variable -Wno-maybe-uninitialized -fno-math-errno -fno-trapping-math -Werrorformat -Wno-stringop-overflow, LAPACK_INFOmkl, PERF_WITH_AVX1, PERF_WITH_AVX21, PERF_WITH_AVX5121, TORCH_VERSION1.8.0, USE_CUDAON, USE_CUDNNON, USE_EXCEPTION_PTR1, USE_GFLAGSOFF, USE_GLOGOFF, USE_MKLON, USE_MKLDNNON, USE_MPIOFF, USE_NCCLON, USE_NNPACKON, USE_OPENMPON, TorchVision: 0.9.0cu111
OpenCV: 4.8.1
MMCV: 1.4.0
MMCV Compiler: GCC 7.3
MMCV CUDA Compiler: 11.1
MMDetection: 2.11.0
MMDetection3D: 0.11.0fb4384c
------------------------------------------------------------库
# packages in environment at /root/miniconda3/envs/bevfusion:
#
# Name Version Build Channel
_libgcc_mutex 0.1 main https://mirrors.ustc.edu.cn/anaconda/pkgs/main
_openmp_mutex 5.1 1_gnu https://mirrors.ustc.edu.cn/anaconda/pkgs/main
absl-py 2.0.0 pypi_0 pypi
addict 2.4.0 pypi_0 pypi
anyio 4.0.0 pypi_0 pypi
argon2-cffi 23.1.0 pypi_0 pypi
argon2-cffi-bindings 21.2.0 pypi_0 pypi
arrow 1.3.0 pypi_0 pypi
asttokens 2.4.0 pypi_0 pypi
async-lru 2.0.4 pypi_0 pypi
attrs 23.1.0 pypi_0 pypi
babel 2.13.0 pypi_0 pypi
backcall 0.2.0 pypi_0 pypi
beautifulsoup4 4.12.2 pypi_0 pypi
black 23.9.1 pypi_0 pypi
bleach 6.1.0 pypi_0 pypi
ca-certificates 2023.08.22 h06a4308_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
cachetools 5.3.1 pypi_0 pypi
certifi 2023.7.22 pypi_0 pypi
cffi 1.16.0 pypi_0 pypi
charset-normalizer 3.3.0 pypi_0 pypi
click 8.1.7 pypi_0 pypi
comm 0.1.4 pypi_0 pypi
contourpy 1.1.1 pypi_0 pypi
cycler 0.12.1 pypi_0 pypi
cython 0.29.32 pypi_0 pypi
debugpy 1.8.0 pypi_0 pypi
decorator 5.1.1 pypi_0 pypi
defusedxml 0.7.1 pypi_0 pypi
descartes 1.1.0 pypi_0 pypi
exceptiongroup 1.1.3 pypi_0 pypi
executing 2.0.0 pypi_0 pypi
fastjsonschema 2.18.1 pypi_0 pypi
filelock 3.12.4 pypi_0 pypi
fire 0.5.0 pypi_0 pypi
flake8 6.1.0 pypi_0 pypi
fonttools 4.43.1 pypi_0 pypi
fqdn 1.5.1 pypi_0 pypi
fsspec 2023.9.2 pypi_0 pypi
google-auth 2.23.3 pypi_0 pypi
google-auth-oauthlib 1.0.0 pypi_0 pypi
grpcio 1.59.0 pypi_0 pypi
huggingface-hub 0.18.0 pypi_0 pypi
idna 3.4 pypi_0 pypi
imageio 2.31.5 pypi_0 pypi
importlib-metadata 6.8.0 pypi_0 pypi
importlib-resources 6.1.0 pypi_0 pypi
iniconfig 2.0.0 pypi_0 pypi
ipykernel 6.25.2 pypi_0 pypi
ipython 8.12.3 pypi_0 pypi
ipython-genutils 0.2.0 pypi_0 pypi
ipywidgets 8.1.1 pypi_0 pypi
isoduration 20.11.0 pypi_0 pypi
jedi 0.19.1 pypi_0 pypi
jinja2 3.1.2 pypi_0 pypi
joblib 1.3.2 pypi_0 pypi
json5 0.9.14 pypi_0 pypi
jsonpointer 2.4 pypi_0 pypi
jsonschema 4.19.1 pypi_0 pypi
jsonschema-specifications 2023.7.1 pypi_0 pypi
jupyter 1.0.0 pypi_0 pypi
jupyter-client 8.4.0 pypi_0 pypi
jupyter-console 6.6.3 pypi_0 pypi
jupyter-core 5.4.0 pypi_0 pypi
jupyter-events 0.7.0 pypi_0 pypi
jupyter-lsp 2.2.0 pypi_0 pypi
jupyter-server 2.7.3 pypi_0 pypi
jupyter-server-terminals 0.4.4 pypi_0 pypi
jupyterlab 4.0.7 pypi_0 pypi
jupyterlab-pygments 0.2.2 pypi_0 pypi
jupyterlab-server 2.25.0 pypi_0 pypi
jupyterlab-widgets 3.0.9 pypi_0 pypi
kiwisolver 1.4.5 pypi_0 pypi
ld_impl_linux-64 2.38 h1181459_1 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
libffi 3.3 he6710b0_2 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
libgcc-ng 11.2.0 h1234567_1 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
libgomp 11.2.0 h1234567_1 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
libstdcxx-ng 11.2.0 h1234567_1 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
llvmlite 0.31.0 pypi_0 pypi
lyft-dataset-sdk 0.0.8 pypi_0 pypi
markdown 3.5 pypi_0 pypi
markupsafe 2.1.3 pypi_0 pypi
matplotlib 3.6.2 pypi_0 pypi
matplotlib-inline 0.1.6 pypi_0 pypi
mccabe 0.7.0 pypi_0 pypi
mistune 3.0.2 pypi_0 pypi
mmcv-full 1.4.0 pypi_0 pypi
mmdet 2.11.0 dev_0 develop
mmdet3d 0.11.0 dev_0 develop
mmpycocotools 12.0.3 pypi_0 pypi
mypy-extensions 1.0.0 pypi_0 pypi
nbclient 0.8.0 pypi_0 pypi
nbconvert 7.9.2 pypi_0 pypi
nbformat 5.9.2 pypi_0 pypi
ncurses 6.4 h6a678d5_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
nest-asyncio 1.5.8 pypi_0 pypi
networkx 2.2 pypi_0 pypi
notebook 7.0.5 pypi_0 pypi
notebook-shim 0.2.3 pypi_0 pypi
numba 0.48.0 pypi_0 pypi
numpy 1.19.5 pypi_0 pypi
nuscenes-devkit 1.1.9 pypi_0 pypi
oauthlib 3.2.2 pypi_0 pypi
opencv-python 4.8.1.78 pypi_0 pypi
openssl 1.1.1w h7f8727e_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
overrides 7.4.0 pypi_0 pypi
packaging 23.2 pypi_0 pypi
pandas 1.4.4 pypi_0 pypi
pandocfilters 1.5.0 pypi_0 pypi
parso 0.8.3 pypi_0 pypi
pathspec 0.11.2 pypi_0 pypi
pexpect 4.8.0 pypi_0 pypi
pickleshare 0.7.5 pypi_0 pypi
pillow 10.1.0 pypi_0 pypi
pip 23.2.1 py38h06a4308_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
pkgutil-resolve-name 1.3.10 pypi_0 pypi
platformdirs 3.11.0 pypi_0 pypi
plotly 5.11.0 pypi_0 pypi
pluggy 1.3.0 pypi_0 pypi
plyfile 1.0.1 pypi_0 pypi
prometheus-client 0.17.1 pypi_0 pypi
prompt-toolkit 3.0.39 pypi_0 pypi
protobuf 4.24.4 pypi_0 pypi
psutil 5.9.6 pypi_0 pypi
ptyprocess 0.7.0 pypi_0 pypi
pure-eval 0.2.2 pypi_0 pypi
pyasn1 0.5.0 pypi_0 pypi
pyasn1-modules 0.3.0 pypi_0 pypi
pycocotools 2.0.7 pypi_0 pypi
pycodestyle 2.11.1 pypi_0 pypi
pycparser 2.21 pypi_0 pypi
pyflakes 3.1.0 pypi_0 pypi
pygments 2.16.1 pypi_0 pypi
pyparsing 3.1.1 pypi_0 pypi
pyquaternion 0.9.9 pypi_0 pypi
pytest 7.4.2 pypi_0 pypi
python 3.8.3 hcff3b4d_2 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
python-dateutil 2.8.2 pypi_0 pypi
python-json-logger 2.0.7 pypi_0 pypi
pytz 2023.3.post1 pypi_0 pypi
pywavelets 1.4.1 pypi_0 pypi
pyyaml 6.0.1 pypi_0 pypi
pyzmq 25.1.1 pypi_0 pypi
qtconsole 5.4.4 pypi_0 pypi
qtpy 2.4.0 pypi_0 pypi
readline 8.2 h5eee18b_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
referencing 0.30.2 pypi_0 pypi
requests 2.31.0 pypi_0 pypi
requests-oauthlib 1.3.1 pypi_0 pypi
rfc3339-validator 0.1.4 pypi_0 pypi
rfc3986-validator 0.1.1 pypi_0 pypi
rpds-py 0.10.6 pypi_0 pypi
rsa 4.9 pypi_0 pypi
safetensors 0.4.0 pypi_0 pypi
scikit-image 0.19.3 pypi_0 pypi
scikit-learn 1.1.3 pypi_0 pypi
scipy 1.9.3 pypi_0 pypi
send2trash 1.8.2 pypi_0 pypi
setuptools 68.0.0 py38h06a4308_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
shapely 1.8.5.post1 pypi_0 pypi
six 1.16.0 pypi_0 pypi
sniffio 1.3.0 pypi_0 pypi
soupsieve 2.5 pypi_0 pypi
sqlite 3.41.2 h5eee18b_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
stack-data 0.6.3 pypi_0 pypi
tenacity 8.2.3 pypi_0 pypi
tensorboard 2.14.1 pypi_0 pypi
tensorboard-data-server 0.7.1 pypi_0 pypi
termcolor 2.3.0 pypi_0 pypi
terminado 0.17.1 pypi_0 pypi
terminaltables 3.1.10 pypi_0 pypi
threadpoolctl 3.2.0 pypi_0 pypi
tifffile 2023.7.10 pypi_0 pypi
timm 0.9.7 pypi_0 pypi
tinycss2 1.2.1 pypi_0 pypi
tk 8.6.12 h1ccaba5_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
tomli 2.0.1 pypi_0 pypi
torch 1.8.0cu111 pypi_0 pypi
torchaudio 0.8.0 pypi_0 pypi
torchvision 0.9.0cu111 pypi_0 pypi
tornado 6.3.3 pypi_0 pypi
tqdm 4.66.1 pypi_0 pypi
traitlets 5.11.2 pypi_0 pypi
types-python-dateutil 2.8.19.14 pypi_0 pypi
typing-extensions 4.8.0 pypi_0 pypi
uri-template 1.3.0 pypi_0 pypi
urllib3 2.0.6 pypi_0 pypi
wcwidth 0.2.8 pypi_0 pypi
webcolors 1.13 pypi_0 pypi
webencodings 0.5.1 pypi_0 pypi
websocket-client 1.6.4 pypi_0 pypi
werkzeug 3.0.0 pypi_0 pypi
wheel 0.41.2 py38h06a4308_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
widgetsnbextension 4.0.9 pypi_0 pypi
xz 5.4.2 h5eee18b_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main
yapf 0.32.0 pypi_0 pypi
zipp 3.17.0 pypi_0 pypi
zlib 1.2.13 h5eee18b_0 https://mirrors.ustc.edu.cn/anaconda/pkgs/main最重要的是这三个 mmcv-full一定要下载好与环境对应的版本不然会影响编译出奇怪的环境错误 提供我用的mmcv-full地址mmcv-full 1.4.0 cuda11 torch1.8.0版本 下好后直接pip安装这个压缩包mmcv-full 1.4.0 安装好了 其他的可以按照如上先pip install 下好,以免编译过程系统找这些包超时也可直接编译报一个不匹配装一个
然后 cd mmdetection-2.11.0依次执行
pip install -r requirements/build.txt
pip install -v -e . # or python setup.py developmmdet 2.11.0 编译完毕 编译最好执行这个命令python setup.py develop mmdetection3d没必要按他说的重新下载整个文件夹就相当是所以直接回到上级目录执行 python setup.py developmmdet3d 0.11.0 编译完毕
data文件直接在BEVFusion下创建并把下载好的nuscenes解压放好包括测试集解压后470多g 执行 python tools/create_data.py nuscenes --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes处理数据要点时间
# training example for bevfusion-pointpillar
# train nuimage for camera stream backbone and neck.
./tools/dist_train.sh configs/bevfusion/cam_stream/mask_rcnn_dbswin-t_fpn_3x_nuim_cocopre.py 8
# first train camera stream
./tools/dist_train.sh configs/bevfusion/cam_stream/bevf_pp_4x8_2x_nusc_cam.py 8
# then train LiDAR stream
./tools/dist_train.sh configs/bevfusion/lidar_stream/hv_pointpillars_secfpn_sbn-all_4x8_2x_nus-3d.py 8
# then train BEVFusion
./tools/dist_train.sh configs/bevfusion/bevf_pp_2x8_1x_nusc.py 88是gpu数按卡数改 执行训练第一条nuimage的训练可以忽略直接git上下载模型放好后面三条语句依次执行就行官方要求3090*8自己没这么多卡就两张把batchsize调为1勉强能跑
