中国做民宿的网站,安徽省建设厅网站电话,技术好的手机网站建设,金湖网站设计恶劣天气条件下从低质量图像中定位目标还是极具挑战性的任务。现有的方法要么难以平衡图像增强和目标检测任务#xff0c;要么往往忽略有利于检测的潜在信息。本文提出了一种新的图像自适应YOLO (IA-YOLO)框架#xff0c;可以对每张图像进行自适应增强#xff0c;以提高检测…恶劣天气条件下从低质量图像中定位目标还是极具挑战性的任务。现有的方法要么难以平衡图像增强和目标检测任务要么往往忽略有利于检测的潜在信息。本文提出了一种新的图像自适应YOLO (IA-YOLO)框架可以对每张图像进行自适应增强以提高检测性能。实验结果证明了IAYOLO方法在雾天和弱光情况下的有效性。 Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions论文 https://arxiv.org/abs/2112.08088 代码 https://github.com/wenyyu/Image-Adaptive-YOLO 虽然基于深度学习的目标检测方法在传统数据集上取得了良好的效果但在恶劣天气条件下从低质量图像中定位目标仍然具有挑战性。现有的方法要么难以平衡图像增强和目标检测任务要么往往忽略有利于检测的潜在信息。
为了缓解这一问题本文提出了一种新的图像自适应YOLO (IA-YOLO)框架可以对每张图像进行自适应增强以提高检测性能。针对YOLO探测器的恶劣天气条件提出了一种可微分的图像处理(DIP)模块并利用小型卷积神经网络(CNN-PP)对其参数进行预测。
IA-YOLO以端到端的方式学习CNN-PP和YOLOv3这确保CNN-PP可以学习适当的DIP以弱监督的方式增强图像进行检测。 本文提出的IA-YOLO方法可以在正常和恶劣天气条件下自适应处理图像。实验结果证明了IAYOLO方法在雾天和弱光情况下的有效性。
一、所提方法
在恶劣天气条件下拍摄的图像由于特定天气信息的干扰能见度较差导致目标检测困难。为了解决这一挑战本文提出了一种图像自适应检测框架通过去除特定天气信息并揭示更多潜在信息。如图2所示整个管道由一个基于cnn的参数预测器(CNNPP)、一个可微分图像处理模块(DIP)和一个检测网络组成。首先调整输入图像的大小为256x256并将其输入到CNN-PP以预测DIP的参数。然后将经过DIP模块滤波后的图像作为YOLOv3检测器的输入。作者提出了一种端到端的混合数据训练方案该方案具有检测损失使CNN-PP能够学习适当的DIP以弱监督方式增强图像的目标检测。 DIP Module
图像滤波器的设计应遵循可微性、分辨率独立的原则。对于基于梯度的CNN-PP优化滤波器应该是可微的以允许通过反向传播训练网络。由于CNN在处理高分辨率图像(如4000×3000)时会消耗大量的计算资源所以在本文中从下采样的大小为256×256的低分辨率图像中学习滤波器参数然后将相同的滤波器应用到原始分辨率的图像中。因此这些过滤器需要独立于图像分辨率。
我们提出的DIP模块由六个可微滤波器组成具有可调超参数包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen。标准的颜色和色调操作符如WB、Gamma、Contrast和Tone可以表示为像素级滤波器。因此设计的滤波器可以分为雾化、像素化和锐化。在这些滤波器中除雾滤波器是专门为大雾场景设计的。具体情况如下。
1、像素级滤波器
像素级滤波器映射一个输入像素值 (,,) 转换为输出像素值 (,,)其中 (,,)分别表示红、绿、蓝三个颜色通道的值。表1列出了四个像素级过滤器的映射函数其中第二列列出了在本文的方法中要优化的参数。WB和Gamma是简单的乘法和功率变换。显然它们的映射函数对于输入图像和参数都是可微的。 设计了可微对比度滤波器输入参数设置原始图像和完全增强图像之间的线性插值。所示表1映射函数中 () 的定义如下: 这里将tone 滤波器设计为一个单调的分段线性函数。用 参数学习tone 滤波器用 {0,1,...,−1} 表示tone 曲线的点记为 (/,/)其中 ∑0−1。此外映射函数用可微参数表示这使得函数对于输入图像和参数都是可微的如下所示 2、锐化滤波器
图像锐化可以突出图像的细节。就像未锐化掩模技术(Polesel, Ramponi, and Mathews 2000)锐化过程可以描述如下: 其中 () 为输入图像 (()) 为高斯滤波器 为正缩放因子。这个锐化操作对于 和 都是可微的。注意锐化程度可以通过优化 调优目标检测性能。
3、除雾滤波器
基于暗通道先验方法设计了一个具有可学习参数的除雾滤波器。基于大气散射模型朦胧图像的形成可以表述为: 其中 () 为雾天图像 () 为场景亮度。A为全球大气光 () 为介质透射图定义为: 其中 为大气的散射系数 () 为场景深度。
为了恢复干净图像 () 关键是获取大气光A和透射图 () 。为此首先计算暗通道图并选择最亮的1000个像素。然后对雾霾图像 () 的1000个像素平均估计A。
根据上式可以推导出 () 的近似解如下 进一步介绍一个参数 除雾程度控制方法如下: 由于上面的操作是可微的可以优化 通过反向传播使除雾滤波器更有利于雾天图像的检测。
CNN-PP Module
在相机图像信号处理(ISP)管道中通常使用一些可调滤波器进行图像增强其超参数由经验丰富的工程师通过视觉检查手动调整。
通常这样的调优过程是非常笨拙和昂贵的以找到合适的参数广泛的场景。为了解决这一局限性建议使用一个较小的CNN作为参数预测器来估计超参数这是非常有效的。
以雾天场景为例CNN-PP的目的是通过了解图像的全局内容如亮度、颜色和色调以及雾的程度来预测DIP的参数。因此下采样图像足以估计这些信息可以大大节省计算成本。对于任意分辨率的输入图像我们简单地使用双线性插值将其采样到256×256分辨率。如图2所示CNN-PP网络由5个卷积块和2个全连接层组成。
每个卷积块包括一个带有stride2的3 × 3卷积层和一个LeakyRelu。最后的全连接层输出DIP模块的超参数。这5个卷积层的输出通道分别为16、32、32、32和32。当参数总数为15时CNN-PP模型只包含165K个参数。
Detection Network Module
在本文中选择one-stage检测器YOLOv3作为检测网络。与之前的版本相比YOLOv3基于ResNet的思想设计了darknet-53由连续的3×3和1×1卷积层组成。通过对多尺度特征图进行预测实现多尺度训练从而进一步提高检测精度特别是对小目标的检测精度。采用了与原来相同的网络结构和损失函数。
Hybrid Data Training
为了在正常和恶劣天气条件下都能达到理想的检测性能采用了IA-YOLO混合数据训练方案。算法1总结了提出方法的训练过程。
在输入到网络进行训练之前每一幅图像都有2/3的概率被随机添加某种雾或被转换为微光图像。无论是普通的还是合成的低质量训练数据整个过程都是端到端训练使用YOLOv3检测损失确保IA-YOLO中的所有模块都可以相互适应。 因此CNN-PP模块在不手动标注GT真实图像的情况下受到检测损失的弱监督。混合数据训练模式确保IA-YOLO可以根据每张图像的内容自适应处理图像从而实现较高的检测性能。
二、实验
指标如下 可视化结果 参考文献
[1].Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions
Illustrastion by By Marina Mogulskaya from icons8
