网站建设与管理自简历,水果网站模板,seo服务工程,免费ai设计logo网站如是我闻#xff1a; DeconvNet#xff08;反卷积网络#xff09;是一种可视化 CNN#xff08;卷积神经网络#xff09;内部特征的方法#xff0c;用于理解 CNN 是如何提取图像特征的。这个方法由 Zeiler Fergus#xff08;2013#xff09; 提出#xff0c;目的…如是我闻 DeconvNet反卷积网络是一种可视化 CNN卷积神经网络内部特征的方法用于理解 CNN 是如何提取图像特征的。这个方法由 Zeiler Fergus2013 提出目的是通过反向传播特征图恢复输入图像中的显著区域。 1. DeconvNet 的核心思想
DeconvNet 并不是一个新的神经网络结构而是一种分析 CNN 内部特征的工具它的基本原理是
给定 CNN 中某一层的激活特征图即网络中某个卷积层的输出。将其他位置的激活值清零只保留一个特定的激活区域。使用 DeconvNet 逐步反向恢复输入图像的相关区域即 反向 Unpooling反池化反向 ReLU非线性激活反向映射反向 Convolution转置卷积 最终可视化 CNN 关注的输入图像部分。 2. CNN 处理图像的过程
为了理解 DeconvNet我们先回顾 CNN 处理图像的方式
(1) CNN 的前向传播
CNN 主要由以下几部分组成
卷积Convolution 使用卷积核filter扫描输入图像提取局部特征。 ReLU非线性激活 对卷积后的值进行非线性变换增加模型的表达能力。 池化Pooling 例如 最大池化Max Pooling用来减少特征图的大小同时保留最重要的特征。
在 CNN 计算的过程中每一层的输出都是低维度的、提取了高级特征的表示。 3. DeconvNet 如何可视化 CNN
DeconvNet 通过 逆向操作 来还原 CNN 关注的输入图像部分。它的主要步骤如下
(1) 选择某一层的激活特征图
选定 CNN 训练好的某一层例如 conv3并只保留某个特定通道的激活值其余位置置零。
(2) 反向计算特征图DeconvNet 操作 Unpooling反池化 CNN 在前向传播时使用 Max Pooling最大池化 来降低特征图的分辨率。DeconvNet 通过记录池化时的位置Switches在 Unpooling 过程中将激活值放回原来的位置其余填充 0。作用恢复特征图的空间分辨率。 ReLU 反向映射 CNN 采用 ReLU 进行非线性变换负数变为 0。DeconvNet 仅保留正数部分确保可视化的特征仍然是原始网络激活的部分。作用保持原始网络的非线性信息。 转置卷积Transpose Convolution CNN 在前向传播时使用卷积核进行特征提取。DeconvNet 采用 卷积核的转置Transposed Convolution从特征图反推回去恢复更原始的图像信息。作用重建输入图像的结构。
(3) 迭代执行直到恢复到输入空间
DeconvNet 反向经过多个层最终可以得到 CNN 某个特定神经元 对输入图像的响应区域从而可视化 CNN 关注的特征。 4. 图示解析 (1) 右上角的流程图
它展示了 CNN右侧和 DeconvNet左侧的对应关系
CNN 处理过程 卷积ConvolutionReLU 非线性变换最大池化Max Pooling DeconvNet 反向过程 反池化Max UnpoolingReLU 反向变换转置卷积Convolution Filtering {Fᵀ} (2) 右下角的示意图
CNN 在前向传播时池化层Pooling会记录最大值的位置Max Locations “Switches”。DeconvNet 反向传播时通过这些开关Switches进行 Unpooling把原来的信息放回正确的位置。然后逐步恢复到输入图像的像素空间。 5. DeconvNet 的作用 可视化 CNN 的特征学习过程 通过 DeconvNet我们可以看到 CNN 关注的图像区域从而理解 CNN 是如何做出决策的。 分析 CNN 提取的模式 例如 低层 CNN 学习到的是边缘、颜色、纹理等低级特征。高层 CNN 学习到的是物体的形状、轮廓、复杂结构。 调试和改进 CNN 结构 通过 DeconvNet 的可视化结果我们可以检查 CNN 关注的区域是否合理以便调整网络结构。 6. DeconvNet 和其他可视化方法的对比
方法原理优点缺点DeconvNet反向传播特征图能清晰显示 CNN 关注的图像区域依赖于 Unpooling 记录的位置Grad-CAM计算梯度加权特征图适用于不同网络架构直观只能产生粗略的热图Saliency Map计算输入对输出的梯度细粒度分析 CNN 关注的像素计算量较大 7. 总的来说
DeconvNet 是一种 CNN 可视化工具用于理解 CNN 内部的特征表示。主要包括 Unpooling反池化恢复池化层的信息。ReLU 反向映射仅保留正值保持非线性信息。转置卷积Transpose Convolution从高层特征恢复到原始图像。 通过 DeconvNet我们可以看到 CNN 在输入图像中关注的部分从而解释 CNN 的决策机制。 以上
