工控网做网站维护吗,html5 wordpress模板,解决网站提示有风险,临沂网站制作案例yolo核心思想#xff1a;把目标检测转变成一个回归问题。将整个图像作为网络的输入#xff0c;仅仅经过一个神经网络#xff0c;得到边界框的位置及其所属的类别。
YOLOv1 CVPR2016
输出7730的张量表示2个框的5个参数和20个种类。leaky ReLU#xff0c;leaky并不会让负数…yolo核心思想把目标检测转变成一个回归问题。将整个图像作为网络的输入仅仅经过一个神经网络得到边界框的位置及其所属的类别。
YOLOv1 CVPR2016
输出7×7×30的张量表示2个框的5个参数和20个种类。leaky ReLUleaky并不会让负数直接为0而是乘以一个很小的系数(恒定)保留负数输出但衰减负数输出。yx,x00.1x,otherwise分而治之端到端训练损失函数的传播贯穿整个网络。第一个全连接层把输入图像的所有卷积特征整合到一起第二个全连接层将所有神经元得到的卷积特征进行维度转换最后得到与目标检测网络输出维度相同的维度。
YOLOv2 CVPR2017
1yolov2借鉴了Faster R-CNN的思想引入Anchor机制并利用K-means聚类的方法在训练集中聚类计算出更好的Anchor模板大大提高了算法的召回率 2同时结合图像细粒度特征将浅层特征与深层特征相连有助于对小尺寸目标的检测。
特点折中可以自己平衡速度和准确率
改进batch normalizeBN加速收敛正则化模型可以去掉dropoutmap提升2%
Convolutional with Anchor Boxs相比于v1每张图预测98个预测框anchor boxes可以预测1000个
Dimension Clustersanchor遇到的第一个问题 需要动手设定模板框prior 使用k-means聚类折中取得k5
Direct location prediction第二个问题 box预测x,y位置时模型不稳定。直接预测对于网格单元的相对位置。w和h通过bbox prior调整 。模型提高5%
Fine-Grained Features添加passthough层从26×26的分辨率得到特征
multi-scale training用多种分辨率的输入图片进行训练
darknet-19backbone使用darknet-19搭配BN加速收敛
YOLOv3结构框图
CBL最小组件ConvBNLeaky Relu激活函数组成
Res unit借鉴Resnet残差结构网络更深
ResXCBLn个Res unitCBL用来下采样 608–304–152–76–38–19 1/32
Concat张量拼接
add张量相加纬度不变shortcut
Backbone每个ResX包含12*X个卷积层Darknet112×212×812×812×4FC全连接层不包含53
改进点predictions across scales输出三种不同尺度的 feature map。深度255原因coco80个类别每个单元需要3个box每个box还需要五个位置参数3×580255
v3对bbox预测时采用logistic regression可以去掉不必要anchor。
YOLOv4结构框图 组件
CBM最小组件ConvBnMish激活函数
CBLConvBnLeaky_relu
Res_unitResnet网络中的残差结构
CSPX借鉴CSPNet网络由卷积层和X个Res_unit模块Concate组成
SPP采用1×1,5×5,9×9,13×13的最大池化方式多尺度融合。通过最大池化将不同尺寸的输入图像变得尺寸一致使得输入图像不再限制于固定尺寸增大感受野。
Backbone每个CSPX包含52*X个卷积层152×152×252×852×852×472
创新点
输入端Mosaic数据增强、cmBN、SAT自对抗训练
BackBone主干网络CSPDarknet53、Mish激活函数、Dropblock缓解过拟合
NeckSPP模块有效的增加主干特征的接收范围显著的分离了最重要的上下文特征、FPNPAN结构
Prediction训练时的损失函数CIOU_Loss、预测框筛选的nms变为DIOU_nms
**IOU_Loss**主要考虑检测框和目标框重叠面积。
**GIOU_Loss**在IOU的基础上解决边界框不重合时的问题。
**DIOU_Loss**在IOU和GIOU的基础上考虑边界框中心点距离的信息。
**CIOU_Loss**YOLOv4采用CIOU_Loss在DIOU的基础上考虑边界框宽高比的尺度信息。
Mosaic数剧增强随机缩放、随机裁剪、随机排布的方式进行拼接。均衡小中大三类目标
BackBone608-304-152-76-38-19 CSPNet将基础层的特征映射划分为两部分通过跨阶段层次结构将其合并减少计算量保证准确率。
FPN层自顶向下传达强语义特征而特征金字塔则自底向上传达强定位特征
深度学习backbone汇总
非轻量化
LeNet5(1998) AlexNet(2012) VGG(2014) GoogLeNetInceptionNet系列Inception-v1GoogleNet: (2015)、Inception-v2 2015BN-inception、Inception-v3 (2015)、Inception-v4: (2017)、Inception-resnet-v2 (2017) Resnet (2016) ResNet变种ResNeXt 2016、ResNeSt2020、Res2Net2019、DenseNet 2017 DPNet(2017) NasNet(2018) SENet及其变体SKNetSENet2017、SKNet2019 EfficientNet 系列EfficientNet-V1(2019)、EfficientNet-V2(2021) Darknet系列Darknet-19 2016 YOLO v2 的 backbone、Darknet-53 2018 YOLOv3的 backbone DLA (2018, Deep Layer Aggregation)
轻量化
SqueezeNet2016 MobileNet-v12017 XCeption2017, 极致的 Inception MobileNet V22018 ShuffleNet-v1(2018) ShuffleNet-v2(2018) MnasNet2019 MobileNet V3 2019 CondenseNet2017 ESPNet系列ESPNet 2018、ESPNetv2 2018 ChannelNets PeleeNet IGC系列IGCV1、IGCV2、IGCV3 FBNet系列FBNet、FBNetV2、FBNetV3 GhostNet WeightNet MicroNet
ViTVision Transformer Backbone结构
ViT-H/14 和 ViT-L/162020Vision TransformerViT Swin Transformer2021 PVT2021, Pyramid Vision Transformer MPViT CVPR 2022Multi-path Vision Transformer, 多路径 Vision Transformer EdgeViTs CVPR 2022轻量级视觉Transformer
CNNsTransformer / AttentionBackbone结构
CoAtNet2021
BoTNet2021
YOLOv5结构框图 输入端Mosaic数据增强(随机缩放、随机裁剪、随机排布的方式进行拼接)、自适应锚框计算(初始设定长宽的锚框)、自适应图片缩放 trick(datasets.py的letterbox函数)对原始图像添加最少的黑边减少冗余 结果显著训练未采用预测采用
BackboneFocus结构切片操作将608×608×3–304×304×12
CSP结构YOLOv4借鉴CSPNet网络YOLOv5的CSP2应用在Neck上加强网络特征融合能力
CSP是由n和gd控制的n n_ max(round(n * gd), 1) if n 1 else n
NeckFPNPAN结构
PredictionGIOU_Loss DIOU_nms对重叠框有所改进
YOLOv7 改进点
RepVGG2021RepVGG无论是在精度还是速度上都已经超过了 ResNet、EffcientNet 以及 ResNeXt 等网络。采用结构重参数化1训练时使用ResNet-style的多分支模型特点增加模型的表征能力2测试时转化成VGG-style的单线路模型特点速度更快、更省内存并且更加的灵活
将BN和3x3卷积进行融合转换成3x3卷积将BN公式拆解为 一元二次方程y1 k1* x1 b1然后与损失函数y2 k2* x2 b2进行合并得到新的方程y3 k3* x3 b3。
多分支融合将1x1卷积 BN全部转换为3x3卷积然后与3x3卷积进行合并得到一个3x3卷积。
YOLOv8
Backbone轻量化C2f替换了C3
PAN-FPN删除YOLOv5上采样阶段中的卷积结构C2f替换了C3
Decoupled—Head
Anchor-Free
损失函数VFL Loss作为分类损失DFL LossCIOU Loss
样本匹配Task-Aligned Assigner
Backbone轻量化C2f替换了C3
PAN-FPN删除YOLOv5上采样阶段中的卷积结构C2f替换了C3
Decoupled—Head
Anchor-Free
损失函数VFL Loss作为分类损失DFL LossCIOU Loss
样本匹配Task-Aligned Assigner