贵州专业网站建设,建设网站虚拟主机,做网站好,成都微信网站建设报价目录 1.LeNet
2.AlexNet
2.1 激活函数#xff1a;ReLU
2.2 随机失活#xff1a;Droupout
2.3 数据扩充#xff1a;Data augmentation
2.4 局部响应归一化#xff1a;LRN
2.5 多GPU训练
2.6 论文
3.ZFNet
3.1 网络架构
3.2 反卷积
3.3 卷积可视化
3.4 ZFNet改…目录 1.LeNet
2.AlexNet
2.1 激活函数ReLU
2.2 随机失活Droupout
2.3 数据扩充Data augmentation
2.4 局部响应归一化LRN
2.5 多GPU训练
2.6 论文
3.ZFNet
3.1 网络架构
3.2 反卷积
3.3 卷积可视化
3.4 ZFNet改进点
3.5 其他发现
3.6 论文
4.LeNet、AlexNet、ZfNet对比
5.参考文章 1.LeNet
LeNet5诞生于1998年是最早的卷积神经网络之一 由Yann LeCun完成被认为是CNN的雏形。在那时候没有GPU帮助训练模型甚至CPU的速度也很慢因此神经网络模型处理图像时的大量参数并不能通过计算机得到很好的计算LeNet5通过巧妙的设计利用卷积、参数共享、池化等操作提取特征避免了大量的计算成本最后再使用全连接神经网络进行分类识别从此卷积成为图像处理的之中可行方式。
Le Net - 5架构为例卷积神经网络架构由输入层、卷积层、池化层、FC层和输出层4部分组成。 其中卷积层和池化层负责对原始图像进行特征提取全连接层负责对卷积池化提取到的特征进行学习进一步根据这些特征来判断该输入图片属于哪一个类别。
论文《Gradient-Based Learning Applied to Document Recognition》
https://citeseerx.ist.psu.edu/document?repidrep1typepdfdoi4cccb7c5b2d59bc0b86914340c81b26dd4835140
贡献第一个CNNs架构
缺陷性能和效率较低
2.AlexNet
2012-ILSVRC冠军CNNs的一个重大转折点在此之前深度学习已经沉寂了将近20年。
AlexNet是第一个深度卷积神经网络架构通过加深深度和应用众多参数优化策略来增强卷积神经网络的学习能力在论文中主要有以下几点贡献
1使用了非线性激活函数ReLU;
2引入了随机失活Droupout
3使用了数据扩充Data augmentation
4多GPU实现LRN归一化层的使用 如下图所示为AlexNet网络结构 2.1 激活函数ReLU
传统的神经网络普遍使用Sigmoid或者tanh等非线性函数作为激活函数然而它们容易出现梯度弥散或梯度饱和的情况。
在Sigmoid激活函数中当输入值非常大或非常小的时候会使值域范围的变化非常小relu不存在这个缺陷它在第一象限近似函数yx不会出现值域变化小的问题。relu函数直到现在也是学术界和工业界公认的最好用的激活函数之一在各个不同领域不同模型下的使用非常之多。如下表所示各类激活函数的表达式 2.2 随机失活Droupout
引入Dropout主要是为了防止网络在训练过程中出现的过拟合现象主要原因包括两个方面1.数据集太小2.模型过于复杂过拟合的本质原因就是数据集与模型在复杂度上不匹配。
在神经网络中Dropout是通过降低模型复杂度来防止过拟合现象的。对于某一层的神经元通过一定的概率将某些神经元的计算结果乘0这个神经元就不参与前向和后向传播就如同在网络中被删除了一样同时保持输入层与输出层神经元的个数不变然后按照神经网络的学习方法进行参数更新。在下一次迭代中又重新随机删除一些神经元置为0直至训练结束。 Droupout原理可参考以下博文
深度学习中Dropout原理解析_Microstrong0305的博客-CSDN博客
2.3 数据扩充Data augmentation
神经网络需要数据驱动增加数据量不仅可以防止过拟合现象也可以使网络结构进一步增大、加深。因此当训练数据有限时便可以使用一些变换方法将已有的训练数据进行扩充例如随机裁剪、平移变化、改变颜色、图像反转等。
2.4 局部响应归一化LRN
Local Response Normalization(LRN)技术主要是深度学习训练时的一种提高准确度的技术方法。LRN一般是在激活、池化后进行的一种处理方法。LRN归一化技术首次在AlexNet模型中提出这个概念。通过实验确实证明它可以提高模型的泛化能力但是提升的很少以至于后面不再使用甚至有人觉得它是一个“伪命题”因而它饱受争议。现在基本上已经被Batch Normalization代替。
2.5 多GPU训练
由于当时的GPU性能及运算量有限限制了在其上训练的网络的最大规模。因此作者将模型拆成两部分分别在两个GPU上进行训练训练过程中会通过交换feature maps进行两个硬件中子网络的信息交流大大加快了AlexNet的训练速度。
2.6 论文
论文《Imagenet classification with deep convolutional neural networks》
https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
贡献引入了ReLU、Dropout、overlap、Data augmentation、LRN、多GPU计算
缺陷卷积核尺寸较大
3.ZFNet
Zeiler和Fergus提出了一种反卷积神经网络并在2013年 ILSVRC 图像分类竞赛获得冠军。ZFNet可以看作是在 AlexNet 基础上提出的大型卷积网络。论文中通过可视化的技术解释了为什么卷积神经网络可以在图像分类上表现的如此出色以及研究了如何优化卷积神经网络。
3.1 网络架构
如下图所示为ZFNet结构示意图将一幅(具有3个颜色平面)图像的224 × 224裁剪结果作为输入。这与96个不同的第1层滤波器(红色)进行卷积每个滤波器大小为7 × 7在x和y方向上的步长均为2。得到的特征图如下( i )通过一个修正的线性函数(未显示)( ii )池化的( max在3x3区域内,使用步幅2)和( iii )跨特征图归一化的对比度得到96个不同的55 × 55元素特征图。类似的操作在第2、3、4、5层重复。最后两层全连接将来自顶层卷积层的特征以向量形式( 6 · 6 · 256 9216维)作为输入。最后一层是C - way softmax函数C为类的个数。所有的滤波器和特征图都是方形的。 从上图可以看出ZFNet改变了 AlexNet 的第一层即将卷积核的尺寸大小 11x11 变成 7x7并且将步长 4 变成了 2。 3.2 反卷积
如下图所示描绘了内部运行机制其中左半部分显示反卷积层右半部分显示卷积层。 反卷积层从下一层重建一个近似版本的卷积特征。对于网络性能的量化可视化反卷积采用反卷积和去池化操作。值得注意的是去池化在理论上是无法实现的。作者通过变量开关转换记录每个池化区域中最大值的位置来近似实现去池化。这样的反向映射将卷积层的输出投影回视觉可感知的图像模式从而在神经元层面解释每一层学习到的内部特征。
3.3 卷积可视化 作者将卷积核的计算结果feature maps映射回原始的像素空间映射的方法为反卷积反池化并进行可视化。并根据可视化结果得出以下结论
1CNN输出的特征图有明显的层级区分
2越靠近输入端提取的特征所蕴含的语义信息比较少例如颜色特征边缘特征角点特征等等
3越靠近输出端提取的特征所蕴含的语义信息越丰富例如狗脸鸟腿等都属于目标级别的特征。 3.4 ZFNet改进点
ZFNet通过对AelxNet可视化发现由于第一层的卷积核尺寸过大导致某些特征图失效失效指的是一些值太大或太小的情况容易引起网络的数值不稳定性进而导致梯度消失或爆炸。图中的体现是a中的黑白像素块。
此外由于第一层的步长过大导致第二层卷积结果出现棋盘状的伪影例如b中第二小图和倒数第三小图。因此ZFNet做了对应的改进。即将第一层 11X11步长为4的卷积操作变成 7X7步长为2的卷积。 3.5 其他发现
通过对卷积结果的可视化论文中还指出了以下几点
1.网络中对不同特征的学习速度
low-level的特征(颜色纹理等)在网络训练的训练前期就可以学习到 即更容易收敛high-level的语义特征在网络训练的后期才会逐渐学到。高级的语义特征要在低级特征的基础上学习提取才能得到。
2. 图片平移缩放旋转对CNN的影响
卷积拥有良好的平移不变性、缩放不变性但不具有良好的旋转不变性。卷积本身计算方法带来的平移不变性和缩放不变性也是脆弱的大部分也是从数据集中学习到的。因此深度学习是一种基于数据驱动的算法。
3.遮挡对卷积模型的影响
模型确实可以理解图片找到语义信息最丰富对识别最关键的特征而不是仅仅依靠一些颜色纹理特征去做识别。并且CNN在处理图像的时候是关注局部的高级语义特征而不是根据图像的全部信息来处理。随着网络层数的深入遮挡的影响结果也明显减低这说明深层的网络提取的是语义信息而不是low-level的空间特征。因此对随机遮挡可以不敏感。
4. ZFNet的调参实验
ZFNet对AelxNet进行了针对调参的消融实验发现减少全连接层的参数反而可以提升一点准确率一定程度证明了全连接层的参数还是太冗余了即使有dropout。
3.6 论文
论文《Visualizing and Understanding Convolutional Networks》
https://arxiv.org/pdf/1311.2901
贡献架构可视化
缺陷可视化处理会额外消耗性能 4.LeNet、AlexNet、ZfNet对比 5.参考文章
1.深度学习之图像分类基础卷积神经网络 - 魔法学院小学弟
2.经典CNN之LeNet介绍_Sheldon_King的博客-CSDN博客
3. 深度学习之图像分类二AlexNet - 魔法学院小学弟
4. 深度学习之图像分类三ZFNet - 魔法学院小学弟
5. ZFNet 详细解读_Crayon小鱼干的博客-CSDN博客
6.论文 A review of convolutional neural network architectures and their optimizations | SpringerLink
