旅游网站建设方案书,成都网站建设v芯ee8888e,纬天建筑工程信息资讯网,网页设计实验报告步骤分析怎么写随着每天拍摄的数字图像数量激增#xff0c;对更准确、更美观的图像的需求也在增加。然而#xff0c;现代相机拍摄的图像不可避免地会受到噪声的影响#xff0c;从而导致视觉图像质量下降。因此#xff0c;需要在不丢失图像特征#xff08;边缘、角和其他尖锐结构#xf…随着每天拍摄的数字图像数量激增对更准确、更美观的图像的需求也在增加。然而现代相机拍摄的图像不可避免地会受到噪声的影响从而导致视觉图像质量下降。因此需要在不丢失图像特征边缘、角和其他尖锐结构的情况下降低噪声。迄今为止研究人员已经提出了多种降低噪声的方法。每种方法都有自己的优点和缺点。在本文中我们总结了图像去噪领域的一些重要研究。首先我们给出了图像去噪问题的公式然后我们提出了几种图像去噪技术。此外我们还讨论了这些技术的特点。
介绍 由于环境、传输通道等因素的影响图像在采集、压缩、传输过程中不可避免地受到噪声的污染导致图像信息失真和丢失。由于噪声的存在可能会对后续的图像处理任务例如视频处理、图像分析和跟踪产生不利影响。因此图像去噪在现代图像处理系统中起着重要作用。 图像去噪就是去除噪声图像中的噪声从而恢复真实的图像。然而由于噪声、边缘和纹理是高频成分在去噪过程中很难将它们区分开来去噪后的图像不可避免地会丢失一些细节。总的来说在去噪过程中从噪声图像中恢复有意义的信息以获得高质量图像是当今的一个重要问题。 事实上图像去噪是一个经典问题已经研究了很长时间。然而这仍然是一项具有挑战性和开放性的任务。这主要是因为从数学的角度来看图像去噪是一个逆问题其解不是唯一的。近几十年来图像去噪领域取得了巨大成就 [ 1、2、3、4 ] 以下各节将对它们进行回顾。 本文的其余部分安排如下。在“图像去噪问题陈述”一节中我们给出了图像去噪问题的表述。“经典去噪方法、图像去噪中的变换技术、基于 CNN 的去噪方法”部分总结了迄今为止提出的去噪技术。“实验”部分介绍了广泛的实验和讨论。“结论”部分介绍了结论和未来研究的一些可能方向。 图像去噪中的变换技术 图像去噪方法从最初的空间域方法逐渐发展到现在的变换域方法。最初变换域方法是从傅立叶变换发展而来的但从那时起各种变换域方法逐渐出现如余弦变换、小波域方法[81、82、83 ]以及块匹配和3D滤波BM3D ) [ 55 ]. 变换域方法采用以下观察图像信息和噪声的特征在变换域中是不同的。 转换域过滤方法 与空间域滤波方法相比变换域滤波方法首先将给定的噪声图像变换到另一个域然后根据图像及其噪声的不同特征对变换后的图像应用去噪过程系数越大表示高频率部分即图像的细节或边缘较小的系数表示噪声。变换域滤波方法可以根据所选择的基础变换函数进行细分可以是数据自适应的或非数据自适应的[ 84 ]。 数据自适应变换 采用独立分量分析(ICA) [ 85、86 ] 和 PCA [ 65、87 ] 函数作为给定噪声图像的变换工具。其中ICA 方法已成功用于非高斯数据的去噪。这两种方法都是数据自适应的图像和噪声差异的假设仍然成立。然而它们的主要缺点是计算成本高因为它们使用滑动窗口并且需要无噪声数据样本或来自同一场景的至少两个图像帧。然而在某些应用中可能很难获得无噪声的训练数据。 非数据自适应变换 非数据自适应变换域滤波方法可以进一步细分为两个域即空间频率域和小波域。 空间频域滤波方法通过设计一个频域滤波器来使用低通滤波该频域滤波器通过所有低于截止频率的频率并衰减所有高于截止频率的频率 [ 14 , 16 ]。一般来说图像经过低通滤波器如傅立叶变换后信息主要在低频域传播而噪声则在高频域传播。因此我们可以通过选择特定的变换域特征并将它们变换回图像域来去除噪声 [ 88 ]。然而这些方法非常耗时并且取决于截止频率和滤波器功能行为。 作为去噪中研究最多的变换小波变换[ 89 ]将输入数据分解为尺度空间表示。已经证明无论其频率内容如何小波都可以在保留图像特征的同时成功去除噪声[ 90、91、92、93、94、95 ]。与空间域滤波类似小波域的滤波操作也可以细分为线性和非线性方法。由于小波变换具有稀疏性和多尺度等许多优良特性它仍然是图像去噪研究的一个活跃领域[ 96]]. 然而小波变换严重依赖于小波基的选择。如果选择不当则不能很好地表示小波域中显示的图像从而导致去噪效果不佳。因此这种方法不是自适应的。 立体模型 作为 NLM 方法的有效和强大的扩展BM3D 由 Dabov 等人提出。[ 55 ]是最流行的去噪方法。BM3D 是变换域中的两阶段非局部协同过滤方法。在该方法中相似的补丁通过块匹配堆叠成3D组并将3D组变换到小波域。然后在小波域中采用硬阈值或带系数的维纳滤波。最后在对系数进行逆变换后所有估计的补丁被聚合以重建整个图像。然而当噪声逐渐增加时BM3D 的去噪性能会大大降低并引入伪影尤其是在平坦区域。 为了提高去噪性能出现了许多改进版本的 BM3D [ 97、98 ]。例如Maggioni 等人。[ 98 ]最近提出了块匹配和 4D 过滤BM4D方法这是 BM3D 对体积数据的扩展。它利用堆叠成 4-D 组的体素立方体。应用于组的 4-D 变换同时利用体素的局部相关性和非局部相关性。因此该组的频谱高度稀疏导致通过系数收缩非常有效地分离信号和噪声。 基于CNN的去噪方法 一般来说方程式中目标函数的求解方法。( 7 ) 基于图像退化过程和图像先验它可以分为两大类基于模型的优化方法和基于卷积神经网络 (CNN) 的方法。上面讨论的变分去噪方法属于基于模型的优化方案它找到重建去噪图像的最优解。然而此类方法通常涉及耗时的迭代推理。相反基于 CNN 的去噪方法试图通过优化包含退化清洁图像对的训练集上的损失函数来学习映射函数[ 99、100 ]。 最近基于 CNN 的方法发展迅速并在许多低级计算机视觉任务中表现良好 [ 101、102 ]。使用 CNN 进行图像去噪可以追溯到 [ 103 ]其中开发了一个五层网络。近年来已经提出了许多基于CNN的去噪方法[ 99、104、105、106、107、108 ] 。与参考文献相比。[ 103 ]这些方法的性能有了很大的提高。此外基于 CNN 的去噪方法可以分为两类多层感知MLP模型和深度学习方法。 MLP模型 基于 MLP 的图像去噪模型包括 Vincent 等人提出的自动编码器。[ 104 ] 和谢等人。[ 105 ]。陈等。[ 99 ]提出了一种称为可训练非线性反应扩散TNRD模型的前馈深度网络取得了更好的去噪效果。这类方法有几个优点。首先由于推理步骤较少这些方法可以有效地工作。此外由于优化算法 [ 77 ] 具有推导判别架构的能力因此这些方法具有更好的可解释性。然而可解释性会增加性能成本例如MAP 模型 [ 106 ] 限制了学习的先验和推理过程。 基于深度学习的去噪方法 最先进的深度学习去噪方法通常基于 CNN。基于深度学习的去噪方法的一般模型被表述为 分钟Θ损失 _ _ _X^, x ) , s 。吨。X^ F( y, σ ; Θ )minΘ(^,),..^(,σ;Θ) (17) 其中F ( ⋅ ) 表示具有参数集 Θ 的 CNNloss ( ⋅ ) 表示损失函数。loss ( ⋅ ) 用于估计去噪图像和地面实况x之间的接近度。由于其出色的去噪能力相当多的注意力集中在基于深度学习的去噪方法上。X^^ 张等。[ 106 ]首次将残差学习和批量标准化引入图像去噪他们还提出了前馈去噪 CNN (DnCNN)。DnCNN 模型的目的是学习一个函数在y和。参数 Θ σX^ F( y;Θσ)^(;Θσ)X^^在固定方差 σ 下针对噪声图像进行训练。DnCNNs 有两个主要特点该模型应用残差学习公式来学习映射函数并将其与批量归一化相结合以加速训练过程同时提高去噪结果。具体来说事实证明残差学习和批量归一化可以互惠互利它们的结合可以有效地加快训练速度和提高去噪性能。虽然经过训练的 DnCNN 也可以处理压缩和插值误差但在 σ 下训练的模型不适用于其他噪声方差。 当噪声水平 σ 未知时去噪方法应使用户能够自适应地在噪声抑制和纹理保护之间做出权衡。引入了快速灵活的去噪卷积神经网络 (FFDNet) [ 107 ] 来满足这些理想的特性。特别地FFDNet 可以建模为M 表示噪声级别图这是一个主要贡献。对于 FFDNetM 表示输入而参数集 Θ 对于噪声水平是固定的。另一个主要贡献是 FFDNet 作用于下采样的子图像这加快了训练和测试速度也扩大了感受野。因此FFDNet 对不同的噪声非常灵活。X^ F( y,米; Θ )^(,M;Θ) 这种方法虽然有效且运行时间短但学习过程的时间复杂度很高。基于 CNN 的去噪方法的发展通过使用分层网络增强了高级特征的学习。 实验 为了进行比较研究现有的去噪方法采用两个因素视觉分析和性能指标来分析去噪性能。 目前我们找不到任何数学或特定方法来评估视觉分析。一般来说视觉分析有三个标准1显着程度的伪影2边缘保护以及3保留纹理。对于图像去噪方法采用了几种性能指标来评估精度例如 PSNR 和结构相似性指数测量 (SSIM) [ 109 ]。 在这项研究中所有图像去噪方法都适用于三种不同噪声方差σ∈ [30、50、75]下的噪声图像。对于测试图像我们使用两个数据集进行全面评估BSD68 [ 110 ] 和 Set12。BSD68 数据集由来自 BSD 数据集的单独测试集的 68 张图像组成。如图 1所示的 Set12 数据集是广泛使用的测试图像的集合。前七张图片大小为256×256后五张图片大小为512×512。 从图 2可以看出空间滤波器维纳滤波 [ 16 ] 和双边滤波 [ 10 ]比变换域滤波方法PCA 方法 [ 87 ] 和小波变换域方法 [ 89 ]对图像的去噪效果更好。 . 然而空间滤波器以模糊精细细节和锐利边缘为代价消除了高频噪声。协同过滤 (BM3D) [ 55 ]的结果具有降噪和边缘保护的巨大潜力。 在图 3中视觉评估表明基于 TV 的正则化 [ 28 ] 的去噪结果平滑了纹理并产生了伪影。尽管 R-NL [ 56 ] 和 NLM [ 38 ] 方法可以获得更好的性能但这两种方法都难以恢复微小的结构。同时我们发现代表性的基于低秩的方法WNNM [ 58 ]、LRA_SVD [ 78 ]和稀疏编码方案 NCSR [ 66 ] 在同质区域中产生更好的结果因为底层干净的补丁具有相似的特征因此它们可以通过低秩或稀疏编码问题来近似。 基于CNN的去噪方法比较 在这里我们将基于 CNN 的方法DnCNN [ 106 ] 和 FFDNet [ 107 ]的去噪结果与当前几种有效的图像去噪方法包括 BM3D [ 55 ] 和 WNNM [ 58 ]的去噪结果进行比较。据我们所知BM3D 是近年来最流行的去噪方法而 WNNM 是最近提出的成功方案。 表 1报告了 BSD68 数据集上的 PSNR 结果。从表 1中可以得出以下观察结果。首先FFDNet [ 107 ] 的性能大大优于 BM3D [ 55 ]并且在广泛的噪声水平下优于 WNNM [ 58 ] 约 0.2 dB。其次当噪声水平较低例如σ≤25时FFDNet 略逊于 DnCNN [ 106 ]但随着噪声水平的增加例如σ 25它逐渐优于 DnCNN。 表 1 噪声水平为 15、25、50 和 75 的 BSD68 上不同方法的平均峰值信噪比 (dB) 结果 在图 4中我们可以看到天线和轮廓区域的细节很难恢复。BM3D [ 55 ] 和 WNNM [ 58 ] 模糊了精细的纹理而其他两种方法恢复了更多的纹理。这是因为 Monarch 有很多重复结构可以被 NSS 有效利用。此外这些区域的轮廓边缘更清晰看起来更自然。总的来说FFDNet [ 107 ] 产生了去噪图像的最佳感知质量。 图 4 标准偏差为 75 的加性高斯白噪声破坏的 Monarch 图像去噪结果的视觉比较a BM3D [ 55 ]PSNR 23.91 dBb WNNM [ 58 ] (PSNR 24.31 dB); c DnCNN [ 106 ] (PSNR 24.71 dB); d FFDNet [ 107 ] (PSNR 24.99 dB) 结论 随着图像去噪的复杂性和要求的增加对该领域的研究仍然有很高的需求。本文介绍了几种图像去噪方法的最新进展并讨论了它们的优缺点。最近NLM 的兴起取代了传统的局部去噪模型开创了一个新的理论分支导致图像去噪方法取得重大进展包括稀疏表示、低秩和基于 CNN更具体地说是深度学习的去噪方法。尽管近年来图像稀疏性和低秩先验得到了广泛应用但已被证明有效的基于 CNN 的方法在这段时间内得到了快速发展。 尽管对去除 AWGN 进行了许多深入研究但很少有人考虑对真实图像进行去噪。主要障碍是实际噪声的复杂性因为 AWGN 比实际噪声简单得多。在这种情况下对降噪器进行全面评估是一项艰巨的任务。相机内管线中包含多个组件例如白平衡、颜色去马赛克、降噪、颜色变换和压缩。输出图像质量受一些外部和内部条件的影响例如照明、CCD/CMOS 传感器和相机抖动。 深度学习虽然发展迅速但不一定是解决去噪问题的有效途径。主要原因是现实世界的去噪过程缺少用于训练的图像对。据我们所知现有的去噪方法都是通过向干净图像添加 AWGN 生成的模拟噪声数据进行训练的。然而对于真实世界的去噪过程我们发现由此类模拟数据训练的 CNN 不够有效。 总之本文旨在概述可用的去噪方法。由于不同类型的噪声需要不同的去噪方法因此噪声分析可用于开发新颖的去噪方案。对于未来的工作我们必须首先探索如何处理其他类型的噪声尤其是现实生活中存在的噪声。其次在不使用图像对的情况下训练深度模型仍然是一个悬而未决的问题。此外图像去噪方法也可以扩展到其他应用。
