网站建设流程简图,怎样做网络推广链接,淘客网站系统免费源码,做地接的网站文章目录 前言一、摘要二、引言三、相关研究四、模型方法1、Removing the Encoder方法2、Multi-Head方法3、Shifted Windows方法4、Bi-directional Feature Pyramid方法5、DETR方法 五、实验结果总结 前言
今天查看了一篇DETR论文#xff0c;本想网络上找博客大概浏览一下方法 五、实验结果总结 前言
今天查看了一篇DETR论文本想网络上找博客大概浏览一下不料网上对DETR资料较少。无奈我只有自己查看原文了解其方法。为此本篇博客将介绍DETR论文内容也希望我的解读会快速让朋友们了解其论文方法。 论文链接https://arxiv.org/pdf/2206.02977v1.pdf
一、摘要
自从AlexNet在图像分类网络出现目标检测使用CNN结构已占主导地位。随着transformer在自然邻域广泛使用Carmethod引入DETR来处理目标检测。然而由于self-attention存在平方计算复杂都DETR不能狗处理多尺度特征交互导致小目标检测效果较差。为了克服这个问题和进一步改善DETR性能。在这篇研究中我们研究了多尺度特征交互的不同方法并发现BIFPN在DETR中最有效并提升检测性能。介于此发现我们提出DETR模型一个新架构改善检测结果。我们在coco2017测试提升了1.9%的AP,RICO icon测试11.5%的AP,我们提升了9.1%AP。 二、引言
列举众所周知基于CNN的检测模型方法有anchors、grid、pointcetres等模式也被cocohuopascal数据证明了有效性当然后处理也是影响性能部分。而后作者介绍了DERT相关原理与框架。紧接着作者提出DETR弊端就是slow其原因在于一个self-attention机制特别对于视觉特征需sapn over thousands of token(简单说就是维度拉大了)另一个原因二分匹配也是耗时的。提到若是在增加多尺度特征到DETR中就存在更大调整。因此本文研究多个multi-level features方式加入DETR架构去改善性能而不导致self-attention的二次方复杂度与二分匹配。作者又说了其困难①在资源和时间限制下运行多层特征头几乎是不可能的②transformer的encoder结构在解码detector模块是非常重要的额也是不可能去除的③使用滑动窗口思路是不work的④dert头对不同目标尺度改善效果也不佳⑤BIFPN结构嵌入DETR是有效果的且不增加计算复杂度。
三、相关研究
作者介绍了基于CNN的模型随后介绍多尺度特征文献回顾解释使用多尺度特征如FPN确实改善小目标检测并列举了一些模型。紧接着作者说了由于DETR计算的复杂度原始模型不容易合并多尺度特征。这导致缺乏多尺度特征是模型在小目标效果表现不佳。
四、模型方法
本文方式实际是介绍使用不同模块重在neck中实现多尺度特征融合方式探究原始DETR改进效果。最终作者选择BIFPN方法嵌入DETR发现其效果最好。当然我额外说下作者说了DETR因其自身原因添加多尺度特征模块嵌入于DETR是比较困难的这个可能需要结合代码查看。当然我在下面会给出作者原文对每个方法原文读者可自行查看。
1、Removing the Encoder方法 2、Multi-Head方法 3、Shifted Windows方法 4、Bi-directional Feature Pyramid方法 5、DETR方法 五、实验结果
作者实验也是基于coco2017数据集上面是使用不同模块预测结果下面是其它网络预测结果。但你会发现某些模块添加DETR模型效果会差如stack方法的AP是37.3而DETR是39.9反而降低了。具体详情如下 总结
DETR论文核心是想实现类似FPN的多尺度特征融合技术尝试了很多种方法最终使用BIFPN靠谱。与此同时DETR模型也解决transformer的attention引起slow问题并找到如何将多尺度特征嵌入DETR模型方法(作者说嵌入DETR本身困难)。
