北京市住房和城乡建设网站,深圳装修公司哪家好,三亚城乡建设局网站,东莞凤岗网站建设YOLOv11v10v8使用教程#xff1a; YOLOv11入门到入土使用教程 一、 模块介绍 论文链接#xff1a;Adapt or Rerish 代码链接#xff1a;https://github.com/joshyZhou/AST
论文速览#xff1a;基于 transformer 的方法在图像恢复任务中取得了有希望的性能#xff0c;因为… YOLOv11v10v8使用教程 YOLOv11入门到入土使用教程 一、 模块介绍 论文链接Adapt or Rerish 代码链接https://github.com/joshyZhou/AST
论文速览基于 transformer 的方法在图像恢复任务中取得了有希望的性能因为它们能够对长距离依赖性进行建模这对于恢复清晰图像至关重要。尽管不同的高效注意力机制设计已经解决了与使用 transformer 相关的密集计算但它们通常涉及冗余信息和来自不相关区域的嘈杂交互因为要考虑所有可用的标记。在这项工作中作者提出了一种自适应稀疏变压器 AST 来减轻不相关区域的噪声交互并消除空间和通道域中的特征冗余。AST 包括两个核心设计即自适应稀疏自注意力 ASSA 模块和特征细化前馈网络 FRFN。具体来说ASSA 是使用双分支范式自适应计算的其中引入稀疏分支以过滤掉低查询键匹配分数对聚合特征的负面影响而密集分支则确保通过网络有足够的信息流来学习判别性表示。同时FRFN 采用增强和简化方案来消除通道中的特征冗余从而增强清晰潜影的恢复。常用基准的实验结果表明我们的方法在多项任务中具有多功能性和竞争性能包括去除雨纹、去除真雾和去除雨滴。
总结一种高效的特征提取模块通过稀疏注意力ASSA模块与特征细化前馈模块FRFN组成。 二、 加入到YOLO中
2.1 创建脚本文件 首先在ultralytics-nn路径下创建blocks.py脚本用于存放模块代码。 2.2 复制代码 复制代码粘到刚刚创建的blocks.py脚本中如下图所示
class FRFN(nn.Module):def __init__(self, dim32, hidden_dim128, act_layernn.GELU, drop0., use_ecaFalse):super().__init__()self.linear1 nn.Sequential(nn.Linear(dim, hidden_dim * 2),act_layer())self.dwconv nn.Sequential(nn.Conv2d(hidden_dim, hidden_dim, groupshidden_dim, kernel_size3, stride1, padding1),act_layer())self.linear2 nn.Sequential(nn.Linear(hidden_dim, dim))self.dim dimself.hidden_dim hidden_dimself.dim_conv self.dim // 4self.dim_untouched self.dim - self.dim_convself.partial_conv3 nn.Conv2d(self.dim_conv, self.dim_conv, 3, 1, 1, biasFalse)def forward(self, x):# bs x hw x cc, bs, hh, hw x.size()# hh int(math.sqrt(hw))## # spatial restore# x rearrange(x, b (h w) (c) - b c h w , hhh, whh)x1, x2, torch.split(x, [self.dim_conv, self.dim_untouched], dim1)x1 self.partial_conv3(x1)x torch.cat((x1, x2), 1)# flatenx rearrange(x, b c h w - b (h w) c, hhh, whw)x self.linear1(x)# gate mechanismx_1, x_2 x.chunk(2, dim-1)x_1 rearrange(x_1, b (h w) (c) - b c h w , hhh, whw)x_1 self.dwconv(x_1)x_1 rearrange(x_1, b c h w - b (h w) c, hhh, whw)x x_1 * x_2x self.linear2(x)# x self.eca(x)return rearrange(x, b (h w) (c) - b c h w , hhh, whw)2.3 更改task.py文件 打开ultralytics-nn-modules-task.py在脚本空白处导入函数。
from ultralytics.nn.blocks import *之后找到模型解析函数parse_model约在tasks.py脚本中940行左右位置可能因代码版本不同变动在该函数的最后一个else分支上面增加相关解析代码。 elif m is FRFN:c2 ch[f]args [ch[f]] 2.4 更改yaml文件 yam文件解读YOLO系列 “.yaml“文件解读_yolo yaml文件-CSDN博客 打开更改ultralytics/cfg/models/11路径下的YOLOv11.yaml文件替换原有模块。 # Ultralytics YOLO , AGPL-3.0 license
# YOLO11 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 80 # number of classes
scales: # model compound scaling constants, i.e. modelyolo11n.yaml will call yolo11.yaml with scale n# [depth, width, max_channels]n: [0.50, 0.25, 1024] # summary: 319 layers, 2624080 parameters, 2624064 gradients, 6.6 GFLOPss: [0.50, 0.50, 1024] # summary: 319 layers, 9458752 parameters, 9458736 gradients, 21.7 GFLOPsm: [0.50, 1.00, 512] # summary: 409 layers, 20114688 parameters, 20114672 gradients, 68.5 GFLOPsl: [1.00, 1.00, 512] # summary: 631 layers, 25372160 parameters, 25372144 gradients, 87.6 GFLOPsx: [1.00, 1.50, 512] # summary: 631 layers, 56966176 parameters, 56966160 gradients, 196.0 GFLOPs# YOLO11n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]] # 0-P1/2- [-1, 1, Conv, [128, 3, 2]] # 1-P2/4- [-1, 2, C3k2, [256, False, 0.25]]- [-1, 1, Conv, [256, 3, 2]] # 3-P3/8- [-1, 2, C3k2, [512, False, 0.25]]- [-1, 1, Conv, [512, 3, 2]] # 5-P4/16- [-1, 2, FRFN, []]- [-1, 1, Conv, [1024, 3, 2]] # 7-P5/32- [-1, 2, C3k2, [1024, True]]- [-1, 1, SPPF, [1024, 5]] # 9- [-1, 2, C2PSA, [1024]] # 10# YOLO11n head
head:- [-1, 1, nn.Upsample, [None, 2, nearest]]- [[-1, 6], 1, Concat, [1]] # cat backbone P4- [-1, 2, C3k2, [512, False]] # 13- [-1, 1, nn.Upsample, [None, 2, nearest]]- [[-1, 4], 1, Concat, [1]] # cat backbone P3- [-1, 2, C3k2, [256, False]] # 16 (P3/8-small)- [-1, 1, Conv, [256, 3, 2]]- [[-1, 13], 1, Concat, [1]] # cat head P4- [-1, 2, C3k2, [512, False]] # 19 (P4/16-medium)- [-1, 1, Conv, [512, 3, 2]]- [[-1, 10], 1, Concat, [1]] # cat head P5- [-1, 2, C3k2, [1024, True]] # 22 (P5/32-large)- [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)2.5 修改train.py文件 创建Train脚本用于训练。
from ultralytics.models import YOLO
import os
os.environ[KMP_DUPLICATE_LIB_OK] Trueif __name__ __main__:model YOLO(modelultralytics/cfg/models/11/yolo11.yaml)# model.load(yolov8n.pt)model.train(data./data.yaml, epochs2, batch1, device0, imgsz640, workers2, cacheFalse,ampTrue, mosaicFalse, projectruns/train, nameexp)在train.py脚本中填入修改好的yaml路径运行即可训练数据集创建教程见下方链接。 YOLOv11入门到入土使用教程(含结构图)_yolov11使用教程-CSDN博客 三、相关改进思路代码见2024/11/8群文件 根据FRFN的特性可以使用该模块与C2f、C3、C3K2等模块融合相关结构图如下。相关自研模块与该模块融合代码见群文件。上百种深度学习改进模块欢迎点击下方小卡片与我联系。
