dede网站栏目管理空白,wordpress新用户默认角色设置,福州阳楠科技网站建设有限公司,广州企业网目录
一、模型构建
1.1残差单元
1.2 残差网络的整体结构
二、统计模型的参数量和计算量
三、数据预处理
四、没有残差连接的ResNet18
五、带残差连接的ResNet18
附#xff1a;完整的可运行代码
实验大体步骤#xff1a; 先前说明#xff1a;
上次LeNet实验用到的那…目录
一、模型构建
1.1残差单元
1.2 残差网络的整体结构
二、统计模型的参数量和计算量
三、数据预处理
四、没有残差连接的ResNet18
五、带残差连接的ResNet18
附完整的可运行代码
实验大体步骤 先前说明
上次LeNet实验用到的那个数据集最后的准确率只有92%但是看学长们的代码和同班同学们的运行结果都是95%于是我就尝试换成老师群里的数据集和学长的代码试一试发现那个数据集运行出来的准确率只有10%。看了看同学的博客说是换个数据集就可以了。于是我把其替换掉发现准确率到了95.5%。好用于是我将其放在这里需要的同学可以自行下载。好用的数据集 通过网盘分享的文件mnist.gz 链接: https://pan.baidu.com/s/10zpKj-10JgXXLnGEA-AqdA?pwd41wb 提取码: 41wb
一、模型构建
1.1残差单元 一个残差网络通常有很多个残差单元堆叠而成。 为了减少网络的参数量在瓶颈结构中会先试用1×1的卷积核来减少通道数经过3×3卷记得处理后再使用1×1的卷积恢复通道数。
代码如下
# 残差单元算子
class ResBlock(nn.Module):def __init__(self, in_channels, out_channels, stride1, use_residualTrue):super(ResBlock, self).__init__()self.stride strideself.use_residual use_residual# 第一个卷积层卷积核大小为3×3可以设置不同输出通道数以及步长self.conv1 nn.Conv2d(in_channels, out_channels, 3, padding1, strideself.stride)# 第二个卷积层卷积核大小为3×3不改变输入特征图的形状步长为1self.conv2 nn.Conv2d(out_channels, out_channels, 3, padding1)# 如果conv2的输出和此残差块的输入数据形状不一致则use_1x1conv True# 当use_1x1conv True添加1个1x1的卷积作用在输入数据上使其形状变成跟conv2一致if in_channels ! out_channels or stride ! 1:self.use_1x1conv Trueelse:self.use_1x1conv False# 当残差单元包裹的非线性层输入和输出通道数不一致时需要用1×1卷积调整通道数后再进行相加运算if self.use_1x1conv:self.shortcut nn.Conv2d(in_channels, out_channels, 1, strideself.stride)# 每个卷积层后会接一个批量规范化层批量规范化的内容在7.5.1中会进行详细介绍self.bn1 nn.BatchNorm2d(out_channels)self.bn2 nn.BatchNorm2d(out_channels)if self.use_1x1conv:self.bn3 nn.BatchNorm2d(out_channels)def forward(self, inputs):y F.relu(self.bn1(self.conv1(inputs)))y self.bn2(self.conv2(y))if self.use_residual:if self.use_1x1conv: # 如果为真对inputs进行1×1卷积将形状调整成跟conv2的输出y一致shortcut self.shortcut(inputs)shortcut self.bn3(shortcut)else: # 否则直接将inputs和conv2的输出y相加shortcut inputsy torch.add(shortcut, y)out F.relu(y)return out
1.2 残差网络的整体结构 将ResNet18网络划分为6个模块
·第一模块包含了一个步长为2大小为7×7的卷积层卷积层的输出通道数为64卷积层的输出经过批量归一化、ReLU激活函数的处理后接了一个步长为2的3×3的最大汇聚层
·第二模块包含了两个残差单元经过运算后输出通道数为64特征图的尺寸保持不变
·第三模块包含了两个残差单元经过运算后输出通道数为128特征图的尺寸缩小一半
·第四模块包含了两个残差单元经过运算后输出通道数为256特征图的尺寸缩小一半
·第五模块包含了两个残差单元经过运算后输出通道数为512特征图的尺寸缩小一半
·第六模块包含了一个全局平均汇聚层将特征图变为1×1的大小最终经过全连接层计算出最后的输出。
代码如下
# 定义模块一
def make_first_module(in_channels):# 模块一7*7卷积、批量规范化、汇聚m1 nn.Sequential(nn.Conv2d(in_channels, 64, 7, stride2, padding3),nn.BatchNorm2d(64), nn.ReLU(),nn.MaxPool2d(kernel_size3, stride2, padding1))return m1# 模块二到模块五
def resnet_module(input_channels, out_channels, num_res_blocks, stride1, use_residualTrue):blk []# 根据num_res_blocks循环生成残差单元for i in range(num_res_blocks):if i 0: # 创建模块中的第一个残差单元blk.append(ResBlock(input_channels, out_channels,stridestride, use_residualuse_residual))else: # 创建模块中的其他残差单元blk.append(ResBlock(out_channels, out_channels, use_residualuse_residual))return blk# 封装模块二到模块五
def make_modules(use_residual):# 模块二包含两个残差单元输入通道数为64输出通道数为64步长为1特征图大小保持不变m2 nn.Sequential(*resnet_module(64, 64, 2, stride1, use_residualuse_residual))# 模块三包含两个残差单元输入通道数为64输出通道数为128步长为2特征图大小缩小一半。m3 nn.Sequential(*resnet_module(64, 128, 2, stride2, use_residualuse_residual))# 模块四包含两个残差单元输入通道数为128输出通道数为256步长为2特征图大小缩小一半。m4 nn.Sequential(*resnet_module(128, 256, 2, stride2, use_residualuse_residual))# 模块五包含两个残差单元输入通道数为256输出通道数为512步长为2特征图大小缩小一半。m5 nn.Sequential(*resnet_module(256, 512, 2, stride2, use_residualuse_residual))return m2, m3, m4, m5# 定义完整网络
class Model_ResNet18(nn.Module):def __init__(self, in_channels3, num_classes10, use_residualTrue):super(Model_ResNet18, self).__init__()m1 make_first_module(in_channels)m2, m3, m4, m5 make_modules(use_residual)# 封装模块一到模块6self.net nn.Sequential(m1, m2, m3, m4, m5,# 模块六汇聚层、全连接层nn.AdaptiveAvgPool2d(1), nn.Flatten(), nn.Linear(512, num_classes))def forward(self, x):return self.net(x)二、统计模型的参数量和计算量
代码如下
# 参数量
from torchsummary import summary
device torch.device(cuda if torch.cuda.is_available() else cpu) # PyTorch v0.4.0
model Model_ResNet18(in_channels1, num_classes10, use_residualTrue).to(device)
summary(model, (1, 32, 32))# 计算量
from thop import profile
device torch.device(cuda if torch.cuda.is_available() else cpu) # PyTorch v0.4.0
model Model_ResNet18(in_channels1, num_classes10, use_residualTrue).to(device)
dummy_input torch.randn(1, 1, 32, 32).to(device)flops, params profile(model, (dummy_input,))
print(flops)参数量 计算量 从输出可以看出参数量和计算量比LeNet多的不是一点半点LeNet的参数量是6万多计算量是41万多参数量上去了运行时间肯定也就多了。
三、数据预处理
代码如下
# 打印并观察数据集分布情况
train_set, dev_set, test_set json.load(gzip.open(./mnist.gz))
train_images, train_labels train_set[0][:1000], train_set[1][:1000]
dev_images, dev_labels dev_set[0][:200], dev_set[1][:200]
test_images, test_labels test_set[0][:200], test_set[1][:200]
train_set, dev_set, test_set [train_images, train_labels], [dev_images, dev_labels], [test_images, test_labels]
print(Length of train/dev/test set:{}/{}/{}.format(len(train_set[0]), len(dev_set[0]), len(test_set[0])))import numpy as np
import matplotlib.pyplot as plt
import PIL.Image as Imageimage, label train_set[0][0], train_set[1][0]
image, label np.array(image).astype(float32), int(label)
# 原始图像数据为长度784的行向量需要调整为[28,28]大小的图像
image np.reshape(image, [28, 28])
image Image.fromarray(image.astype(uint8), modeL)
print(The number in the picture is {}.format(label))
plt.figure(figsize(5, 5))
plt.imshow(image)
plt.savefig(conv-number5.pdf)# # 定义训练集、验证集和测试集
# train_set {images: train_images, labels: train_labels}
# dev_set {images: dev_images, labels: dev_labels}
# test_set {images: test_images, labels: test_labels}# 数据预处理
transforms transforms.Compose([transforms.Resize(32), transforms.ToTensor(), transforms.Normalize(mean[0.5], std[0.5])])class MNIST_dataset(data.Dataset):def __init__(self, dataset, transforms, modetrain):self.mode modeself.transforms transformsself.dataset datasetdef __getitem__(self, idx):# 从字典中获取图像和标签# image, label self.dataset[images][idx], self.dataset[labels][idx]image, label self.dataset[0][idx], self.dataset[1][idx]image, label np.array(image).astype(float32), int(label)image np.reshape(image, [28, 28])image Image.fromarray(image.astype(uint8), modeL)image self.transforms(image)return image, labeldef __len__(self):# 返回图像数量# return len(self.dataset[images])return len(self.dataset[0])# 加载 mnist 数据集
train_dataset MNIST_dataset(datasettrain_set, transformstransforms, modetrain)
test_dataset MNIST_dataset(datasettest_set, transformstransforms, modetest)
dev_dataset MNIST_dataset(datasetdev_set, transformstransforms, modedev)四、没有残差连接的ResNet18
代码如下
time1 time.time()
seed 300
torch.manual_seed(seed)
torch.cuda.manual_seed(seed) # 如果使用 GPU还可以设置 CUDA 的随机种子
torch.backends.cudnn.deterministic True # 使得 CUDA 确定性计算
torch.backends.cudnn.benchmark False # 防止优化导致不一致
# 学习率大小
lr 0.005
# 批次大小
batch_size 64
# 加载数据
train_loader data.DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue)
dev_loader data.DataLoader(dev_dataset, batch_sizebatch_size)
test_loader data.DataLoader(test_dataset, batch_sizebatch_size)
# 定义网络不使用残差结构的深层网络
model Model_ResNet18(in_channels1, num_classes10, use_residualFalse)
# 定义优化器
optimizer opt.SGD(lrlr, paramsmodel.parameters())
# 定义损失函数
loss_fn F.cross_entropy
# 定义评价指标
metric Accuracy(is_logistTrue)
# 实例化RunnerV3
runner RunnerV3(model, optimizer, loss_fn, metric)
# 启动训练
log_steps 15
eval_steps 15
runner.train(train_loader, dev_loader, num_epochs10, log_stepslog_steps,eval_stepseval_steps, save_pathbest_model.pdparams)
time2 time.time()
# 可视化观察训练集与验证集的Loss变化情况
plot(runner, cnn-loss2.pdf)# 加载最优模型
runner.load_model(best_model.pdparams)
# 模型评价
score, loss runner.evaluate(test_loader)
print([Test] accuracy/loss: {:.4f}/{:.4f}.format(score, loss))
print(没有残差连接的ResNet18的运行时间:, time2-time1)准确率只有66%。但是后面发现调一调参数准确率也是可以达到94.5%的但是这里不做体现了 因为我们要确保参数一致再去对比有误残差连接的准确率这样对比才是有意义的通过调参而再去对比就少了一定的说服了也没有意义。 五、带残差连接的ResNet18
代码如下
time3 time.time()
# 固定随机种子
seed 300
torch.manual_seed(seed)
torch.cuda.manual_seed(seed) # 如果使用 GPU还可以设置 CUDA 的随机种子
torch.backends.cudnn.deterministic True # 使得 CUDA 确定性计算
torch.backends.cudnn.benchmark False # 防止优化导致不一致
# 加载 mnist 数据集
train_dataset MNIST_dataset(datasettrain_set, transformstransforms, modetrain)
test_dataset MNIST_dataset(datasettest_set, transformstransforms, modetest)
dev_dataset MNIST_dataset(datasetdev_set, transformstransforms, modedev)
# 学习率大小
lr 0.005
# 批次大小
batch_size 16
# 加载数据
train_loader data.DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue)
dev_loader data.DataLoader(dev_dataset, batch_sizebatch_size)
test_loader data.DataLoader(test_dataset, batch_sizebatch_size)
# 定义网络通过指定use_residual为True使用残差结构的深层网络
model Model_ResNet18(in_channels1, num_classes10, use_residualTrue)
# 定义优化器
optimizer opt.SGD(lrlr, paramsmodel.parameters())
# 定义损失函数
loss_fn F.cross_entropy
# 定义评价指标
metric Accuracy(is_logistTrue)
# 实例化RunnerV3
runner RunnerV3(model, optimizer, loss_fn, metric)
# 启动训练
log_steps 15
eval_steps 15
runner.train(train_loader, dev_loader, num_epochs10, log_stepslog_steps,eval_stepseval_steps, save_pathbest_model.pdparams)
time4 time.time()
# 可视化观察训练集与验证集的Loss变化情况
plot(runner, cnn-loss3.pdf)# 加载最优模型
runner.load_model(best_model.pdparams)
# 模型评价
score, loss runner.evaluate(test_loader)
print([Test] accuracy/loss: {:.4f}/{:.4f}.format(score, loss))
print(有残差连接的ResNet18的运行时间:, time4-time3)有残差连接的网络比没有残差连接的网络准确率高很多那么这是为什么呢 ResNet的论文中提到更深的网络有更高的训练误差所以就会有更高的测试误差。 同时来说随着网络深度的增加会带来了许多优化相关的问题比如梯度消散梯度爆炸。也有人将其比做成一个传话游戏就是越往后传错误也就越高。 再举一个栗子 假如有一个网络输入x1非残差网络为G残差网络为H其中H(x)F(x)x假如有这样的输入关系 因为两者各自是对G的参数和F的参数进行更新可以看出变化对F的影响远远大于G说明引入残差后的映射对输出的变化更敏感这样是有利于网络进行传播的。 从论文中的对比也可以看出残差网络layer升高后error并没有像普通网络一样也升高。 再对比运行时间 两者虽然相差不大但是却比LeNet5的时间长很多LeNet5训练只需要3秒多。
附完整的可运行代码
主代码
time3 time.time()
# 固定随机种子
seed 300
torch.manual_seed(seed)
torch.cuda.manual_seed(seed) # 如果使用 GPU还可以设置 CUDA 的随机种子
torch.backends.cudnn.deterministic True # 使得 CUDA 确定性计算
torch.backends.cudnn.benchmark False # 防止优化导致不一致
# 加载 mnist 数据集
train_dataset MNIST_dataset(datasettrain_set, transformstransforms, modetrain)
test_dataset MNIST_dataset(datasettest_set, transformstransforms, modetest)
dev_dataset MNIST_dataset(datasetdev_set, transformstransforms, modedev)
# 学习率大小
lr 0.005
# 批次大小
batch_size 16
# 加载数据
train_loader data.DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue)
dev_loader data.DataLoader(dev_dataset, batch_sizebatch_size)
test_loader data.DataLoader(test_dataset, batch_sizebatch_size)
# 定义网络通过指定use_residual为True使用残差结构的深层网络
model Model_ResNet18(in_channels1, num_classes10, use_residualTrue)
# 定义优化器
optimizer opt.SGD(lrlr, paramsmodel.parameters())
# 定义损失函数
loss_fn F.cross_entropy
# 定义评价指标
metric Accuracy(is_logistTrue)
# 实例化RunnerV3
runner RunnerV3(model, optimizer, loss_fn, metric)
# 启动训练
log_steps 15
eval_steps 15
runner.train(train_loader, dev_loader, num_epochs10, log_stepslog_steps,eval_stepseval_steps, save_pathbest_model.pdparams)
time4 time.time()
# 可视化观察训练集与验证集的Loss变化情况
plot(runner, cnn-loss3.pdf)# 加载最优模型
runner.load_model(best_model.pdparams)
# 模型评价
score, loss runner.evaluate(test_loader)
print([Test] accuracy/loss: {:.4f}/{:.4f}.format(score, loss))
print(有残差连接的ResNet18的运行时间:, time4-time3)nndl_3代码
import torch
from matplotlib import pyplot as plt
from torch import nnclass Op(object):def __init__(self):passdef __call__(self, inputs):return self.forward(inputs)def forward(self, inputs):raise NotImplementedErrordef backward(self, inputs):raise NotImplementedError# 实现一个两层前馈神经网络
class Model_MLP_L2_V3(torch.nn.Module):def __init__(self, input_size, hidden_size, output_size):super(Model_MLP_L2_V3, self).__init__()self.fc1 torch.nn.Linear(input_size, hidden_size)w_ torch.normal(0, 0.01, size(hidden_size, input_size), requires_gradTrue)self.fc1.weight torch.nn.Parameter(w_)self.fc1.bias torch.nn.init.constant_(self.fc1.bias, val1.0)self.fc2 torch.nn.Linear(hidden_size, output_size)w2 torch.normal(0, 0.01, size(output_size, hidden_size), requires_gradTrue)self.fc2.weight nn.Parameter(w2)self.fc2.bias torch.nn.init.constant_(self.fc2.bias, val1.0)self.act torch.sigmoiddef forward(self, inputs):outputs self.fc1(inputs)outputs self.act(outputs)outputs self.fc2(outputs)return outputsclass RunnerV3(object):def __init__(self, model, optimizer, loss_fn, metric, **kwargs):self.model modelself.optimizer optimizerself.loss_fn loss_fnself.metric metric # 只用于计算评价指标# 记录训练过程中的评价指标变化情况self.dev_scores []# 记录训练过程中的损失函数变化情况self.train_epoch_losses [] # 一个epoch记录一次lossself.train_step_losses [] # 一个step记录一次lossself.dev_losses []# 记录全局最优指标self.best_score 0def train(self, train_loader, dev_loaderNone, **kwargs):# 将模型切换为训练模式self.model.train()# 传入训练轮数如果没有传入值则默认为0num_epochs kwargs.get(num_epochs, 0)# 传入log打印频率如果没有传入值则默认为100log_steps kwargs.get(log_steps, 100)# 评价频率eval_steps kwargs.get(eval_steps, 0)# 传入模型保存路径如果没有传入值则默认为best_model.pdparamssave_path kwargs.get(save_path, best_model.pdparams)custom_print_log kwargs.get(custom_print_log, None)# 训练总的步数num_training_steps num_epochs * len(train_loader)if eval_steps:if self.metric is None:raise RuntimeError(Error: Metric can not be None!)if dev_loader is None:raise RuntimeError(Error: dev_loader can not be None!)# 运行的step数目global_step 0# 进行num_epochs轮训练for epoch in range(num_epochs):# 用于统计训练集的损失total_loss 0for step, data in enumerate(train_loader):X, y data# 获取模型预测logits self.model(X)loss self.loss_fn(logits, y) # 默认求meantotal_loss loss# 训练过程中每个step的loss进行保存self.train_step_losses.append((global_step, loss.item()))if log_steps and global_step % log_steps 0:print(f[Train] epoch: {epoch}/{num_epochs}, step: {global_step}/{num_training_steps}, loss: {loss.item():.5f})# 梯度反向传播计算每个参数的梯度值loss.backward()if custom_print_log:custom_print_log(self)# 小批量梯度下降进行参数更新self.optimizer.step()# 梯度归零self.optimizer.zero_grad()# 判断是否需要评价if eval_steps 0 and global_step 0 and \(global_step % eval_steps 0 or global_step (num_training_steps - 1)):dev_score, dev_loss self.evaluate(dev_loader, global_stepglobal_step)print(f[Evaluate] dev score: {dev_score:.5f}, dev loss: {dev_loss:.5f})# 将模型切换为训练模式self.model.train()# 如果当前指标为最优指标保存该模型if dev_score self.best_score:self.save_model(save_path)print(f[Evaluate] best accuracy performence has been updated: {self.best_score:.5f} -- {dev_score:.5f})self.best_score dev_scoreglobal_step 1# 当前epoch 训练loss累计值trn_loss (total_loss / len(train_loader)).item()# epoch粒度的训练loss保存self.train_epoch_losses.append(trn_loss)print([Train] Training done!)# 模型评估阶段使用torch.no_grad()控制不计算和存储梯度torch.no_grad()def evaluate(self, dev_loader, **kwargs):assert self.metric is not None# 将模型设置为评估模式self.model.eval()global_step kwargs.get(global_step, -1)# 用于统计训练集的损失total_loss 0# 重置评价self.metric.reset()# 遍历验证集每个批次for batch_id, data in enumerate(dev_loader):X, y data# 计算模型输出logits self.model(X)# 计算损失函数loss self.loss_fn(logits, y).item()# 累积损失total_loss loss# 累积评价self.metric.update(logits, y)dev_loss (total_loss / len(dev_loader))dev_score self.metric.accumulate()# 记录验证集lossif global_step ! -1:self.dev_losses.append((global_step, dev_loss))self.dev_scores.append(dev_score)return dev_score, dev_loss# 模型评估阶段使用torch.no_grad()控制不计算和存储梯度torch.no_grad()def predict(self, x, **kwargs):# 将模型设置为评估模式self.model.eval()# 运行模型前向计算得到预测值logits self.model(x)return logitsdef save_model(self, save_path):torch.save(self.model.state_dict(), save_path)def load_model(self, model_path):model_state_dict torch.load(model_path)self.model.load_state_dict(model_state_dict)class Accuracy():def __init__(self, is_logistTrue):# 用于统计正确的样本个数self.num_correct 0# 用于统计样本的总数self.num_count 0self.is_logist is_logistdef update(self, outputs, labels):if outputs.shape[1] 1: # 二分类outputs torch.squeeze(outputs, dim-1)if self.is_logist:# logist判断是否大于0preds torch.tensor((outputs 0), dtypetorch.float32)else:# 如果不是logist判断每个概率值是否大于0.5当大于0.5时类别为1否则类别为0preds torch.tensor((outputs 0.5), dtypetorch.float32)else:# 多分类时使用torch.argmax计算最大元素索引作为类别preds torch.argmax(outputs, dim1)# 获取本批数据中预测正确的样本个数labels torch.squeeze(labels, dim-1)batch_correct torch.sum(torch.tensor(preds labels, dtypetorch.float32)).numpy()batch_count len(labels)# 更新num_correct 和 num_countself.num_correct batch_correctself.num_count batch_countdef accumulate(self):# 使用累计的数据计算总的指标if self.num_count 0:return 0return self.num_correct / self.num_countdef reset(self):# 重置正确的数目和总数self.num_correct 0self.num_count 0def name(self):return Accuracy# 可视化
def plot(runner, fig_name):plt.figure(figsize(10, 5))plt.subplot(1, 2, 1)train_items runner.train_step_losses[::30]train_steps [x[0] for x in train_items]train_losses [x[1] for x in train_items]plt.plot(train_steps, train_losses, color#8E004D, labelTrain loss)if runner.dev_losses[0][0] ! -1:dev_steps [x[0] for x in runner.dev_losses]dev_losses [x[1] for x in runner.dev_losses]plt.plot(dev_steps, dev_losses, color#E20079, linestyle--, labelDev loss)# 绘制坐标轴和图例plt.ylabel(loss, fontsizex-large)plt.xlabel(step, fontsizex-large)plt.legend(locupper right, fontsizex-large)plt.subplot(1, 2, 2)# 绘制评价准确率变化曲线if runner.dev_losses[0][0] ! -1:plt.plot(dev_steps, runner.dev_scores,color#E20079, linestyle--, labelDev accuracy)else:plt.plot(list(range(len(runner.dev_scores))), runner.dev_scores,color#E20079, linestyle--, labelDev accuracy)# 绘制坐标轴和图例plt.ylabel(score, fontsizex-large)plt.xlabel(step, fontsizex-large)plt.legend(loclower right, fontsizex-large)plt.savefig(fig_name)plt.show()这次的分享就到这里下次再见~
