网站开发设计师培训,架设网站 软件,天津市建设信息工程网,wordpress添加关键词插件神经网络基本骨架的搭建
Module#xff1a;给所有的神经网络提供一个基本的骨架#xff0c;所有神经网络都需要继承Module#xff0c;并定义_ _ init _ _方法、 forward() 方法在_ _ init _ _方法中定义#xff0c;卷积层的具体变换#xff0c;在forward() 方法中定义给所有的神经网络提供一个基本的骨架所有神经网络都需要继承Module并定义_ _ init _ _方法、 forward() 方法在_ _ init _ _方法中定义卷积层的具体变换在forward() 方法中定义神经网络的前向传播具体是什么样的官方代码样例如下
import torch.nn as nn
import torch.nn.functional as Fclass Model(nn.Module):def __init__(self):super().__init__()self.conv1 nn.Conv2d(1, 20, 5)self.conv2 nn.Conv2d(20, 20, 5)def forward(self, x):x F.relu(self.conv1(x))return F.relu(self.conv2(x))表明输入 x 经过一个卷积层A一个非线性层a一个卷积层B一个非线性层b最后输出如下图 简单模型代码如下
from torch import nn
import torch# 定义一个简单的Module
class Tudui(nn.Module):def __init__(self): # 初始化函数super().__init__() # 调用父类的初始化函数def forward(self, input): # 前向传播函数output input 1 # 定义张量的加法运算return output # 返回输出张量tudui Tudui() # 实例化一个Tudui对象
x torch.tensor(1.0) # tensor()函数可以将任意数据转换为张量
print(tudui(x))* 注意可以在调试模式中选择单步执行代码一步一步执行更清晰2D卷积操作了解原理即可实际直接使用卷积层 2D卷积操作卷积核在输入图像上不断移动并把对应位相乘再求和最后得到输出结果以下是参数设置 input输入张量的维数要是四维batch表示一次输入多少张图像channel表示通道数RGB图像的通道数为3灰度图像一层二维张量的通道数为1H为高度W为宽度weight卷积核维数也要是四维out_channel表示输出通道数卷积核的数量in_channel表示输入图像的通道数一般groups为1H为高度W为宽度stride卷积核每次移动的步长为整数或者长度为2的元组如果是整数表示在水平和垂直方向上使用相同的步长。如果是元组分别表示在水平和垂直方向上的步长。默认为1。padding控制在输入张量的边界周围添加的零填充的数量为整数或长度为2的元组如果是整数表示在水平和垂直方向上使用相同的填充数量。如果是元组分别表示在水平和垂直方向上的填充数量。默认为0 例如将一张灰度图经过2D卷积操作得到输出的代码如下
import torch# 因为想让输入数据是tensor类型的所以使用torch.tensor
input torch.tensor([[1,2,0,3,1],[0,1,2,3,1],[1,2,1,0,0],[5,2,3,1,1],[2,1,0,1,1]])# 因为想让卷积核是tensor类型的所以使用torch.tensor
kernel torch.tensor([[1,2,1],[0,1,0],[2,1,0]])
print(input.shape) # torch.Size([5, 5])
print(kernel.shape) # torch.Size([3, 3])# 由于卷积核的尺寸和输入的尺寸都不满足卷积运算的要求所以需要对输入和卷积核进行维度的扩展
input torch.reshape(input, [1,1,5,5]) # 输入是一张二维图片所以batch_size1一张通道数为1二维张量
kernel torch.reshape(kernel, [1,1,3,3]) # 卷积核的个数为1所以输出通道数为1输入通道数由上可知为1print(input.shape) # torch.Size([1, 1, 5, 5])
print(kernel.shape) # torch.Size([1, 1, 3, 3])output torch.nn.functional.conv2d(input, kernel, stride1) # 经过2D卷积运算后的输出
print(output)可视化图如下 padding设置为1的可视化图如下
2D卷积层 2D卷积层通常我们直接使用卷积层即可上一节仅供了解以下是参数设置 in_channels输入通道数RGB图像为3灰度图像为1一层二维张量为1out_channels输出通道数即卷积核的个数kernel_size卷积核的高宽整数或元组整数时表示高宽都为该整数元组时表示分别在水平和垂直方向上的长度。我们只需要设置卷积核的高宽而卷积核内部的具体参数不需要我们指定它是在神经网络的训练中不断地对分布进行采样同时进行不断调整stride卷积核每次移动的步长整数或元组整数时表示在水平和垂直方向上使用相同的步长。元组时分别表示在水平和垂直方向上的步长。默认为1。padding控制在输入张量的边界周围添加的零填充的数量为整数或元组如果是整数表示在水平和垂直方向上使用相同的填充数量。如果是元组分别表示在水平和垂直方向上的填充数量。默认为0padding_mode控制以什么样的模式进行填充默认为 zeros 零填充dilation卷积核内部元素之间的距离空洞卷积groups默认为1bias给输出加一个偏置默认为True 以下是2D卷积层的可视化图像青色的为输出图像蓝色为输入图像深蓝色为卷积核
No paddingNo stridesAribitrary paddingNo strides
Half paddingNo stridesFull paddingNo strides
No paddingstridesPaddingstridesPaddingstridesodd
当out_channel 为2时卷积核也为2个会先拿第一个卷积核与输入图像进行卷积得到第一个输出然后会拿第二个卷积核与输入图像进行卷积得到第二个输出这两个卷积核内部的具体参数可能会不同最后把这两个输出叠加起来得到最终的输出以下是可视化图像 构建一个包含一层简单2D卷积层的神经网络模型代码如下
import torch
import torch.nn as nn
import torchvisiontest_dataset torchvision.datasets.CIFAR10(rootDataset, trainFalse, downloadTrue, transformtorchvision.transforms.ToTensor())
test_loader torch.utils.data.DataLoader(test_dataset, batch_size64, shuffleFalse, num_workers0)class Tudui(nn.Module):def __init__(self): # 初始化super().__init__() # 继承父类的初始化self.conv1 nn.Conv2d(3, 6, 3, 1, 0) # 输入通道数3输出通道数6卷积核大小3*3步长1填充0def forward(self, x): # 前向传播x self.conv1(x) # 调用卷积层对输入x进行卷积return xtudui Tudui() # 实例化网络模型print(tudui) # 打印网络结构# 输出结果
# Files already downloaded and verified
# Tudui(
# (conv1): Conv2d(3, 6, kernel_size(3, 3), stride(1, 1))
# )打印输入和输出的代码如下 注意由于输入经过了一层卷积所以输出尺寸会变小
for data in test_loader:imgs, targets dataoutputs tudui(imgs) # 调用网络模型进行前向传播print(imgs.shape) # 打印输入数据的形状torch.Size([64, 3, 32, 32])print(outputs.shape) # 打印输出数据的形状torch.Size([64, 6, 30, 30])可以通过tensorboard来展示输入图像和输出图像代码如下 注意 由于outputs的channel为6而add_images函数要求channel为3所以需要对outputs进行处理把torch.Size([64, 6, 30, 30]) - torch.Size([xx, 3, 30, 30]) 把6个通道变成3个通道多出来的部分就打包放入batch_size中如果不知道变换后的batch_size是多少可以写-1PyTorch会自动计算
import torch
import torch.nn as nn
import torchvision
from torch.utils.tensorboard import SummaryWritertest_dataset torchvision.datasets.CIFAR10(rootDataset, trainFalse, downloadTrue, transformtorchvision.transforms.ToTensor())
test_loader torch.utils.data.DataLoader(test_dataset, batch_size64, shuffleFalse, num_workers0)class Tudui(nn.Module):def __init__(self): # 初始化super().__init__() # 继承父类的初始化self.conv1 nn.Conv2d(3, 6, 3, 1, 0) # 输入通道数3输出通道数6卷积核大小3*3步长1填充0def forward(self, x): # 前向传播x self.conv1(x) # 调用卷积层对输入x进行卷积return xtudui Tudui() # 实例化网络模型writer SummaryWriter(logs) # 创建一个SummaryWriter对象指定日志文件保存路径
step 0
for data in test_loader:imgs, targets dataoutputs tudui(imgs) # 调用网络模型进行前向传播writer.add_images(input, imgs, step) # 将输入数据imgs写入日志文件# 由于outputs的channel为6而add_images函数要求channel为3所以需要对outputs进行处理# 把torch.Size([64, 6, 30, 30]) - torch.Size([xx, 3, 30, 30]) 把6个通道变成3个通道多出来的部分就打包放入batch_size中# 如果不知道变换后的batch_size是多少可以使用-1PyTorch会自动计算outputs torch.reshape(outputs, (-1, 3, 30, 30)) # 将outputs的channel从6改为3writer.add_images(output, outputs, step) # 将输出数据outputs写入日志文件step 1writer.close() # 关闭日志文件结果如下 注意如果别人论文里没有写stride、padding具体为多少那么我们可以根据以下式子进行推导 Nbatch_sizeCchannelH高W宽
