玉山县建设局网站,做网站朋友圈广告的文案怎么写,晋江建设银行招聘网站,如何做网站粘贴广告一、DenseNet DenseNet的网络结构如图1-1所示#xff0c;其核心是Dense Block模块#xff0c;Dense Block中的一个黑点就代表一个卷积模块#xff08;不是一个卷积层#xff0c;而是DenseNet提出的一个BottleNeck模块#xff0c;后文有讲解#xff09;#xff0c;每条黑…一、DenseNet DenseNet的网络结构如图1-1所示其核心是Dense Block模块Dense Block中的一个黑点就代表一个卷积模块不是一个卷积层而是DenseNet提出的一个BottleNeck模块后文有讲解每条黑线都代表着数据的流动。
图1-1 DenseNet网络结构 DenseNet的每一个Dense Block内保持特征图的尺寸一致目的是为了直接进行Concat操作因此DenseNet被分成了多个Dense Block每个Dense Block内不能改变特征图大小但整个DenseNet为了提取特征需要减小特征图尺寸即每个Dense Block内特征图尺寸一致不同Dense Block内特征图尺寸不一致Dense Block的数量一般为4。两个相邻的Dense Block之间的部分被称为Transition层具体包括BN、ReLU、1×1卷积、2×2平均池化。其中1×1卷积的作用是降维2×2平均池化的作用是降低特征图的尺寸。
二、Dense Block Dense Block的实现细节如图2-1所示每一个Dense Block由若干个BottleNeck卷积模块组成BottleNeck由BN、ReLU、1×1卷积、BN、ReLU、3×3卷积顺序组成。 图2-1 Dense Block结构 每一个BottleNeck的输出通道数是相同的每个BottleNeck模块最后3×3卷积的输出通道数相同例如图2-1中的32每经过一次Concat特征图的通道数就增加32因此这里的32也被称为GrowthRate。假设对于一个Dense Block来说输入通道数为cinc_{in}cin输出通道数为coutc_{out}cout该Dense Block内有nnn个BottleNeck则coutcinn×GrowthRatec_{out} c_{in} n\times GrowthRatecoutcinn×GrowthRate图2-1可看作192644×32192644\times 32192644×32 1×1卷积的作用是固定输出通道数避免因网络结构过深而导致特征图的通道数急剧增加每次Concat后通道数都会增加GrowthRate若不使用1×1卷积降维后续3×3卷积的参数量会急剧增加。1×1卷积的通道数通常是GrowthRate的4倍。
三、DenseNet优势
密集连接的特殊网络使得每一层都会接受其后所有层的梯度而不是像普通卷积链式的反向传播因此一定程度上解决了梯度消失的问题。通过Concat操作使得大量特征被复用每个曾独有的特征图的通道是较少的因此比ResNet的参数更少且计算更高效。
