知名网站建设企业,做网站图片知识,免费 支付宝购物网站模版,注册网站的免费网址com1 Degradation Problem#x1f4a6; 深度卷积神经网络在图像分类方面取得了一系列突破。深度网络自然地将低/中/高级特征和分类器以端到端的多层方式集成在一起#xff0c;特征的“层次”可以通过堆叠层数(深度)来丰富。最近的研究揭示了网络深度是至关重要的#xff0c;在具…1 Degradation Problem 深度卷积神经网络在图像分类方面取得了一系列突破。深度网络自然地将低/中/高级特征和分类器以端到端的多层方式集成在一起特征的“层次”可以通过堆叠层数(深度)来丰富。最近的研究揭示了网络深度是至关重要的在具有挑战性的ImageNet数据集上的主要结果都利用了“非常深的”模型。许多其他重要的视觉识别任务也极大地受益于非常深度的模型。在深度重要性的驱动下一个问题出现了学习更好的网络就像堆叠更多层一样简单吗回答这个问题的一个障碍是臭名昭著的梯度消失/爆炸问题它从一开始就阻碍了收敛。目前针对这种问题已经有了解决的方法对输入数据和中间层的数据进行归一化操作这种方法可以保证网络在反向传播中采用随机梯度下降SGD从而让网络达到收敛。但是这个方法仅对几十层的网络有用当网络再往深处走的时候这种方法就无用武之地了。上图是使用20层和56层“普通”网络plain network的CIFAR-10上的训练误差(左)和测试误差(右)。网络越深训练误差越大测试误差越大。在ImageNet上的也有类似现象。网络层数不是太多的时候模型的正确率确实会随着网络层数的增加而提升但随着网络层数的增加正确率也会达到饱和这个时候如果再继续增加网络的层数那么正确率就会下降。论文中把这种现象称为退化问题Degradation Problem出乎意料的是这种退化并不是由过拟合引起的并且在适当深度的模型中增加更多的层会导致更高的训练误差。如果是overfitting的话则会出现训练误差小测试误差大的现象但是二者的结果都相较于浅层网络的误差较大。2 Residual Block ResNet 之所以叫残差网络Residual Network是因为 ResNet 是由很多残差块Residual Block组成的。而残差块的使用可以解决前面说到的退化问题。残差块如下图所示。 残差residual在数理统计中是指实际观察值观测值与估计值拟合值之间的差。假设上图中的 weight layer 是 3×3 的卷积层F(x) 表示经过两个卷积层计算后得到的结果identity x 表示恒等映射identity mapping也称为shortcut connections。其实就是把 x 的值是不做任何处理直接传过去。最后计算 F(x)x这里的 F(x) 跟 x 是种类相同的信号所以将其对应位置进行相加。我们让 H(x) F(x)x 所以 H(x) 就是观测值实际的特征映射就是真实的输出x 就是估计值也就是上一层ResNet输出的特征映射。我们如果使用plain networks一般的卷积神经网络那么 H(x) F(x) 这样某一层达到最优之后在加深就会出现退化问题。残差就体现在F(x) H(x)-x 我们假设优化残差映射比优化原始的、未引用残差的映射更容易。在极端情况下如果一个恒等映射 x 是最优的那么将残差 F(x) 推到 0 比通过一堆非线性层来拟合一个恒等映射要容易得多。进一步理解因为 x 是当前输出的最优解为了让它成为下一层的最优解也就是希望咱们的真实输出 H(x)x 的话只要让 F(x)0 就行了也就是为了保证下一层的网络状态仍然是最优状态只需要令 F(x)0 这也就是残差网络需要训练和学习的地方也说明了深层网络不会变的比浅层网络差可以选择原地踏步但不会后退不绝对。如果更深层网络学习到了好的特征整个模型的性能就会提升。如果模型发现 F(x) 很难训练或者训练没有好处的话F(x) 就拿不到梯度模型发现直接拿 x 过去效果就很好了加上一个 F(x) 对我的loss下降没有什么明显作用的话那么在梯度反传的时候就拿不到什么梯度所以 F(x) 的权重就不会被更新了权重就有可能变得很小梯度甚至可能变为零所以ResNet在加深的时候通常不会使模型的效果变坏。Identity shortcut connections既不会增加额外的参数也不会增加计算复杂度。我们在ImageNet上进行了全面的实验以显示退化问题并评估我们的方法。结果表明我们的深度残差网络很容易优化但对应的“普通”网络(简单地堆叠层)在深度增加时表现出更高的训练误差我们的深度残差网络可以很容易地从深度的大幅增加中获得精度收益产生的结果比以前的网络要好得多。残差块可以有多种设计方式如改变残差块中卷积层的数量或者残差块中卷积窗口的大小或者卷积计算后先 ReLU 后 BN就像搭积木一样我们可以随意设置。ResNet 研究团队经过很多的测试最终定下了两种他们觉得最好的残差块的结构如上图所示。 3 Architecture 上图是论文中提出的五种ResNet网络结构。若残差映射 F(x) 的结果的维度与跳跃连接 x 的维度不同时就必须对 x 进行维度变换维度相同时二者才能进行相加运算。具体方法有 Zero-Padding1 * 1卷积Projection Shortcut上图表明ResNet的效果要优于相同深度的plain network。 4 Supplement 这里的 f(x) 表示深层网络g(x) 表示浅层网络。对于一般的卷积神经网络随着网络加深梯度反向传播时由于多次乘法如上图的Plain变得很小即使有Batch Normalization等手段但是最后还是会出现梯度消失导致模型过早的收敛因为没有梯度学不动了最后的结果就会较差。而对于ResNet如上图的ResNet即使左边的梯度值很小但是右边的梯度值比较大小数加大数总的梯度还是会比较大的模型就能训练的动所以训练速度也较快不管你后面的网络有多深我的浅层网络 g(x) 的梯度总是有用的最后的结果就会变好。残差网络起作用的主要原因就是这些残差块学习恒等函数非常容易很多时候甚至可以提高效率因此创建类似残差网络可以提升网络性能。5 Conclusion☀️ 残差结构的主要作用是传递信号把深度学习浅层的网络信号直接传给深层的网络。深度学习中不同的层所包含的信息是不同的一般我们认为深层的网络所包含的特征可能对最后模型的预测更有帮助但是并不是说浅层的网络所包含的信息就没用深层网络的特征就是从浅层网络中不断提取而得到的。现在我们给网络提供一个捷径也就是Shortcut Connections它可以直接将浅层信号传递给深层网络跟深层网络的信号结合从而帮助网络得到更好的效果。从 ResNet 的设计和发展过程中我们可以知道深度学习是一门非常注重实验的学科我们需要有创新的好想法同时也需要大量的实验来支撑和证明我们的想法。有些时候我们无法从理论上推断哪种模型设计或优化方法是最好的这个时候我们可能就需要做大量的实验来不断尝试找到最好的结果。如今 ResNet 已经得到广泛的应用和肯定对深度学习和计算机视觉做出了卓越贡献。
