网站建设江门,视频直播平台开发,做网站需要注册商标第几类,宿城区住房和城乡建设局网站在深度学习训练中#xff0c;我们经常会遇到这两个归一化操作#xff0c;他们之间有什么区别呢#xff1f;我们来简单介绍一下#xff1a;
BatchNorm#xff1a;
在深度学习训练的时候我们的数据如果没有经过预处理#xff0c;有可能会出现梯度消失或者梯度爆炸的情况我们经常会遇到这两个归一化操作他们之间有什么区别呢我们来简单介绍一下
BatchNorm
在深度学习训练的时候我们的数据如果没有经过预处理有可能会出现梯度消失或者梯度爆炸的情况那么应该怎么解决这个问题呢所以我们经常会在训练之前和训练的时候使用标准处理在CV中最常用的就是BN。我们先来看张动图 从上面的动图中可以看出BN是针对batch而言的针对每一个batch的统一通道计算均值和方差进行归一化因此batch越大归一化的结果越好。 需要注意的是BN中实际上是四个参数除了公式中的α\alphaα和β\betaβ 之外还有两个隐晦的参数统计均值和方差我们知道在计算BN的时候是针对一个batch的而batch的选择个整体的样本均值和方差是由差距的英雌在计算的时候要不断地更新统计到的均值和方差作为最终的统计均值和方差。
LayerNorm
简单介绍layernorm就是batchborm是针对一个batch的每个通道之间进行计算均值和方差而layernorm是针对一个特征矩阵之间按照通道进行计算均值和方差他只有两个参数公式和BN是一样的。所以在CV中基本上不用这个归一化没有什么意义。 除此之外还有其他的归一化方法如GNIN等用到的时候可以自己查阅一下资料下面贴张图 以上只是对batchnorm和layernorm做一个简单的介绍并没有深入剖析如有错误敬请指正。
