网站开发项目发展现状,西安微网站建设,seo是什么意思知乎,南充网络推广这里写目录标题 AlexNet参考文章AlexNet模型结构AlexNet共8层#xff1a;AlexNet运作流程 简单代码实现重要说明重要技巧主要贡献 AlexNet AlexNet 是一种卷积神经网络#xff08;Convolutional Neural Network#xff0c;CNN#xff09;的架构。它是由Alex Krizhevsky、Il… 这里写目录标题 AlexNet参考文章AlexNet模型结构AlexNet共8层AlexNet运作流程 简单代码实现重要说明重要技巧主要贡献 AlexNet AlexNet 是一种卷积神经网络Convolutional Neural NetworkCNN的架构。它是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton提出的并在2012年的ImageNet大规模视觉识别挑战赛ILSVRC中获胜。 AlexNet是推动深度学习在计算机视觉任务中应用的先驱之一 AlexNet跟LeNet-5类似也是一个用于图像识别的卷积神经网络。AlexNet网络结构更加复杂参数更多。
验证了深度卷积神经网络的高效性
参考文章
手撕 CNN 经典网络之 AlexNet理论篇 论文《ImageNet Classification with Deep Convolutional Neural Networks》 【动手学计算机视觉】第十六讲卷积神经网络之AlexNet
AlexNet模型结构 AlexNet中使用的是ReLU激活函数它5层卷积层除了第一层卷积核为 11 ∗ 11 11*11 11∗11、第二次为 5 ∗ 5 5*5 5∗5之外其余三层均为 3 ∗ 3 3*3 3∗3
1. 第一层卷积层
输入
输入为 224 ∗ 224 ∗ 3 224 * 224 * 3 224∗224∗3的图像输入之前进行了去均值处理AlexNet对数据集中所有图像向量求均值均值为 224 ∗ 224 ∗ 3 224 * 224 * 3 224∗224∗3去均值操作为原图减去均值绝对数值对分类没有意义去均值之后的相对数值可以正确分类且计算量小
卷积 卷积核的数量为96论文中两块GPU分别计算48个核
卷积核大小 11 ∗ 11 ∗ 3 s t r i d e 4 11 * 11 * 3stride4 11∗11∗3stride4stride表示的是步长padding 0表示不填充边缘。
卷积后的图形大小 w i d e ( 224 − k e r n e l _ s i z e 2 ∗ p a d d i n g ) / s t r i d e 1 54 wide (224 - kernel\_size2 * padding) / stride 1 54 wide(224−kernel_size2∗padding)/stride154 h e i g h t ( 224 − k e r n e l _ s i z e 2 ∗ p a d d i n g ) / s t r i d e 1 54 height (224 - kernel\_size2 * padding) / stride 1 54 height(224−kernel_size2∗padding)/stride154 d i m e n t i o n 96 dimention 96 dimention96
参考个数 ( 11 × 11 × 3 1 ) × 96 35 k (11 \times 11 \times 3 1) \times 96 35k (11×11×31)×9635k 池化
输入通道数根据输入图像而定输出通道数为96步长为4。 注窗口大小3*3步长2池化过程出现重叠现在一般不使用重叠池化。
池化结果27x27x96 特征图组 局部响应归一化层Local Response Normalized
为什么要引入LRN层
首先要引入一个神经生物学的概念侧抑制lateral inhibitio即指被激活的神经元抑制相邻的神经元。 归一化normaliazation的目的就是“抑制”LRN就是借鉴这种侧抑制来实现局部抑制尤其是我们使用RELU的时候这种“侧抑制”很有效 因而在AlexNet里使用有较好的效果。
归一化有什么好处
1 归一化有助于快速收敛
2 对局部神经元的活动创建竞争机制使得其中响应比较大的值变得相对更大并抑制其他反馈较小的神经元增强了模型的泛化能力。
【补充神经网络学习过程本质就是为了学习数据分布一旦训练数据与测试数据的分布不同那么网络的泛化能力也大大降低另外一方面一旦每批训练数据的分布各不相同(batch 梯度下降)那么网络就要在每次迭代都去学习适应不同的分布这样将会大大降低网络的训练速度这也正是为什么我们需要对数据都要做一个归一化预处理的原因。 深度网络的训练是复杂的过程只要网络的前面几层发生微小的改变那么后面几层就会被累积放大下去。一旦网络某一层的输入数据的分布发生改变那么这一层网络就需要去适应学习这个新的数据分布所以如果训练过程中训练数据的分布一直在发生变化那么将会影响网络的训练速度。】
2. 第二层卷积层 输入为上一层卷积的 feature map 27 × 27 × 96 27 \times 27 \times 96 27×27×96大小的特诊图组。
卷积核的个数为256个论文中的两个GPU分别有128个卷积核。 卷积核大小 5 ∗ 5 5*5 5∗5输入通道数为96输出通道数为256步长为2padding 2。 卷积结果 ( 27 − 5 2 × 2 ) / 1 1 , 27 × 27 × 256 (27 - 5 2 \times 2) / 1 1,27 \times 27 \times 256 (27−52×2)/11,27×27×256的特征图组。
然后做LRN。
最后最大化池化 池化层窗口大小为3*3步长为2。 池化结果 13 × 13 × 256 13 \times 13 \times 256 13×13×256的特征图组。 3. 第三层卷积层 输入为第二层的输出没有LRN和Pool。
卷积核大小 3 ∗ 3 3*3 3∗3输入通道数为256输出通道数为384stride为1padding 1。 图像尺寸为 ( 13 − 3 2 × 1 ) / 1 1 13 (13 - 3 2 \times 1) / 1 1 13 (13−32×1)/1113 输出 13 × 13 × 384 13 \times 13 \times 384 13×13×384
4. 第四层卷积层
输入为第三层的输出没有LRN和Pool。
卷积核个数为384大小 3 ∗ 3 3*3 3∗3输入通道数为384输出通道数为384stride为1padding 1。 图像尺寸为 ( 13 − 3 2 × 1 ) / 1 1 13 (13 - 3 2 \times 1) / 1 1 13 (13−32×1)/1113 输出 13 × 13 × 384 13 \times 13 \times 384 13×13×384
5. 第五层卷积层
输入为第四层的输出。
卷积核大小 3 ∗ 3 3*3 3∗3输入通道数为384输出通道数为256stride为1padding 1。 图像尺寸为 ( 13 − 3 2 × 1 ) / 1 1 13 (13 - 3 2 \times 1) / 1 1 13 (13−32×1)/1113 卷积结果为 13 × 13 × 256 13 \times 13 \times 256 13×13×256
池化层窗口大小为 3 ∗ 3 3*3 3∗3步长为2。 图像尺寸为 ( 13 − 3 ) / 2 1 6 (13 - 3) / 2 1 6 (13−3)/216 池化结果为 6 × 6 × 256 6 \times 6 \times 256 6×6×256
6. 第六层全连接层
输入大小为上一层的输出输出大小为4096。
Dropout概率为0.5。
7. 第七层全连接层
输入大小为上一层的输出输出大小为4096。
Dropout概率为0.5。
8. 第八层全连接层
输入大小为4096输出大小为分类数。
Dropout概率为0.5。 需要将第五层池化结果6×6×256转换为向量9216×1。因为全连接层不能输入矩阵要输入向量。
注意 需要注意一点5个卷积层中前2个卷积层后面都会紧跟一个池化层而第3、4层卷积层后面没有池化层而是连续3、4、5层三个卷积层后才加入一个池化层。
AlexNet共8层
5个卷积层(CONV1——CONV5)3个全连接层(FC6-FC8)
AlexNet运作流程
conv1输入→卷积→ReLU→局部响应归一化→重叠最大池化层conv2卷积→ReLU→局部响应归一化→重叠最大池化层conv3卷积→ReLUconv4卷积→ReLUconv5卷积→ReLU→重叠最大池化层(经过这层之后还要进行flatten展平操作)FC1全连接→ReLU→DropoutFC2全连接→ReLU→DropoutFC3(可看作softmax层)全连接→ReLU→Softmax
简单代码实现
使用pytorch
import torch
import torch.nn as nnclass AlexNet(nn.Module):def __init__(self, num_classes1000):super(AlexNet, self).__init__()# 第一个卷积层输入通道3RGB图像输出通道64卷积核大小11x11步长4填充2self.conv1 nn.Conv2d(3, 64, kernel_size11, stride4, padding2)self.relu1 nn.ReLU(inplaceTrue)# 最大池化层窗口大小3x3步长2self.maxpool1 nn.MaxPool2d(kernel_size3, stride2)# 第二个卷积层输入通道64输出通道192卷积核大小5x5填充2self.conv2 nn.Conv2d(64, 192, kernel_size5, padding2)self.relu2 nn.ReLU(inplaceTrue)# 第二个最大池化层窗口大小3x3步长2self.maxpool2 nn.MaxPool2d(kernel_size3, stride2)# 第三个卷积层输入通道192输出通道384卷积核大小3x3填充1self.conv3 nn.Conv2d(192, 384, kernel_size3, padding1)self.relu3 nn.ReLU(inplaceTrue)# 第四个卷积层输入通道384输出通道256卷积核大小3x3填充1self.conv4 nn.Conv2d(384, 256, kernel_size3, padding1)self.relu4 nn.ReLU(inplaceTrue)# 第五个卷积层输入通道256输出通道256卷积核大小3x3填充1self.conv5 nn.Conv2d(256, 256, kernel_size3, padding1)self.relu5 nn.ReLU(inplaceTrue)# 第三个最大池化层窗口大小3x3步长2self.maxpool3 nn.MaxPool2d(kernel_size3, stride2)# 自适应平均池化层输出特征图大小为6x6self.avgpool nn.AdaptiveAvgPool2d((6, 6))# 全连接层输入大小为256x6x6输出大小为4096self.fc1 nn.Linear(256 * 6 * 6, 4096)self.relu6 nn.ReLU(inplaceTrue)# 全连接层输入大小为4096输出大小为4096self.fc2 nn.Linear(4096, 4096)self.relu7 nn.ReLU(inplaceTrue)# 全连接层输入大小为4096输出大小为num_classesself.fc3 nn.Linear(4096, num_classes)def forward(self, x):x self.conv1(x)x self.relu1(x)x self.maxpool1(x)x self.conv2(x)x self.relu2(x)x self.maxpool2(x)x self.conv3(x)x self.relu3(x)x self.conv4(x)x self.relu4(x)x self.conv5(x)x self.relu5(x)x self.maxpool3(x)x self.avgpool(x)x x.view(x.size(0), -1)x self.fc1(x)x self.relu6(x)x self.fc2(x)x self.relu7(x)x self.fc3(x)return x# 创建AlexNet模型的实例
model AlexNet(num_classes1000)# 打印模型结构
print(model)重要说明
用于提取图像特征的卷积层以及用于分类的全连接层是同时学习的。卷积层与全连接层在学习过程中会相互影响、相互促进
重要技巧
Dropout策略防止过拟合使用动量的随机梯度下降算法加速收敛验证集损失不下降时手动降低10倍的学习率采用样本增强策略增加训练样本数量防止过拟合集成多个模型进一步提高精度。 现在显存基本都够用不需要再考虑分两个GPU计算。
AlexNet卷积层在做什么 主要贡献
提出了一种卷积层加全连接层的卷积神经网络结构首次使用ReLU函数做为神经网络的激活函数首次提出Dropout正则化来控制过拟合使用加入动量的小批量梯度下降算法加速了训练过程的收敛使用数据增强策略极大地抑制了训练过程的过拟合利用了GPU的并行计算能力加速了网络的训练与推断
