企业网站怎么自适应,wordpress两个网站同步,网页传奇游戏怎么注销,大学生创新创业大赛负责人简介随着我们设计越来越深的网络#xff0c;深刻理解“新添加的层如何提升神经网络的性能”变得至关重要。更重要的是设计网络的能力#xff0c;在这种网络中#xff0c;添加层会使网络更具表现力#xff0c; 为了取得质的突破#xff0c;我们需要一些数学基础知识。
ResNet沿…随着我们设计越来越深的网络深刻理解“新添加的层如何提升神经网络的性能”变得至关重要。更重要的是设计网络的能力在这种网络中添加层会使网络更具表现力 为了取得质的突破我们需要一些数学基础知识。
ResNet沿用了VGG完整的\(3\times 3\)卷积层设计。 残差块里首先有2个有相同输出通道数的\(3\times 3\)卷积层。 每个卷积层后接一个批量规范化层和ReLU激活函数。 然后我们通过跨层数据通路跳过这2个卷积运算将输入直接加在最后的ReLU激活函数前。 这样的设计要求2个卷积层的输出与输入形状一样从而使它们可以相加。 如果想改变通道数就需要引入一个额外的\(1\times 1\)卷积层来将输入变换成需要的形状后再做相加运算。 残差块的实现如下
from mxnet import np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2lnpx.set_np()class Residual(nn.Block): #savedef __init__(self, num_channels, use_1x1convFalse, strides1, **kwargs):super().__init__(**kwargs)self.conv1 nn.Conv2D(num_channels, kernel_size3, padding1,stridesstrides)self.conv2 nn.Conv2D(num_channels, kernel_size3, padding1)if use_1x1conv:self.conv3 nn.Conv2D(num_channels, kernel_size1,stridesstrides)else:self.conv3 Noneself.bn1 nn.BatchNorm()self.bn2 nn.BatchNorm()def forward(self, X):Y npx.relu(self.bn1(self.conv1(X)))Y self.bn2(self.conv2(Y))if self.conv3:X self.conv3(X)return npx.relu(Y X)
此代码生成两种类型的网络 一种是当use_1x1convFalse时应用ReLU非线性函数之前将输入添加到输出。 另一种是当use_1x1convTrue时添加通过\(1 \times 1\)卷积调整通道和分辨率。 下面我们来查看输入和输出形状一致的情况。
blk Residual(3,3)
X torch.rand(4, 3, 6, 6)
Y blk(X)
Y.shape torch.Size([4, 3, 6, 6]) 我们也可以在增加输出通道数的同时减半输出的高和宽。
blk Residual(3,6, use_1x1convTrue, strides2)
blk(X).shape torch.Size([4, 6, 3, 3])
