能从源代码黑进网站修改数据吗,山东网站建设和游戏开发的公司排名,百度下拉框推广网站,免费发帖的网站前面讲了mask-transformer对医学图像分割任务是非常适用的。本文就是总结一些近期看过的mask-transformer方面的论文。 因为不知道mask transformer是什么就看了一些论文。后来得出结论#xff0c;应该就是生成mask的transformer就是mask transformer。 相关论文#xff1a; …前面讲了mask-transformer对医学图像分割任务是非常适用的。本文就是总结一些近期看过的mask-transformer方面的论文。 因为不知道mask transformer是什么就看了一些论文。后来得出结论应该就是生成mask的transformer就是mask transformer。 相关论文 1.DETR(eccv2020):https://link.springer.com/chapter/10.1007/978-3-030-58452-8_13 2.MaX-Deeplab(CVPR 2021):https://openaccess.thecvf.com/content/CVPR2021/html/Wang_MaX-DeepLab_End-to-End_Panoptic_Segmentation_With_Mask_Transformers_CVPR_2021_paper.html 3.MaskForm(NeurIPS 2021):https://papers.nips.cc/paper/2021/file/950a4152c2b4aa3ad78bdd6b366cc179-Paper.pdf 4.Mask2Form(CVPR2022):https://ieeexplore.ieee.org/document/9878483 5.kMaX-DeepLab(ECCV2022):https://link.springer.com/chapter/10.1007/978-3-031-19818-2_17
DETR
很多这些论文都是受到DETR的启发得到的。DETR为数不多的目标检测里端到端的模型它把目标检测看作集合预测问题不需要人为一些先验和调参没有了NMS让模型训练和部署变得容易。 简单描述一下它训练过程就是图片经过CNN得到的特征和位置编码(给定的)相加放入到Transformer进行编码。学习全局的特征encoder中有6个transformer block进行编码编码得到的特征进入到decoder中。object queries是可学习的变量。object queries与得到的特征进行cross attention(特征作为key,valueobject queries作为queries)object queries也会进行self attention以保证object queries之间相互通信知道其他object得到的框是什么避免冗余框得到新的object queries。新的object queries进入FFN预测类别和box相关的参数。使用匈牙利算法选择合适的框输出。测试的时候设定置信度阈值。 DETR中使用了深监督深监督 DETR对小目标检测不友好后面分割也是改进让他有多尺度特征能够有更好的性能。
MaX-DeepLab
问题目前严重依赖于代理子任务和手工设计组件的全景分割流水线例如框检测非极大值抑制事物-内容合并等。虽然这些子任务都是由领域专家来完成的但是它们并不能全面地解决目标任务。 目的全景分割可以使用端到端模型不需要实例分割和语义分割相结合。 我不了解全景分割全景分割好像之前也是很难是端到端的MaX-DeepLab是一个端到端的模型它简化了当前严重依赖代理子任务和手工设计组件的流水线如盒子检测、非最大值抑制、东西合并等。下面这幅图就显示了之前全景分割方法和本文提出的方法之前的方法依赖于代理子任务树。通过融合语义和实例分割结果得到泛全景分割掩模。实例分割进一步分解为盒检测和基于盒的分割而盒检测则通过锚回归和锚分类来实现。 我们的方法正确的分割出了狗和椅子。而基于锚点的方法因为狗和椅子的中心太相近所以导致分不出椅子和狗。基于边界框的方法由于椅子边缘有太低的置信度所以分割不出椅子。 全景分割的任务就是通过一幅图片获得很多类别标记的标签我们的模型就是把图片分割成一组固定数量集合的类别标记的标签预测的标签mask是软互斥的。mask的类别包含thing classes, stuff classes, 空集类别没有物体三种。把thing和stuff类别分割统一起来去掉了合并操作。
类似于DETR有没有觉得这个memory bank和object query很相似。就是它们都能够端到端不需要NMS和合并操作原因是它们都实现给定了一个数就出100个框就分割100个类或者物体这个数量大于图片中含有最大物体数所以有一些是没有类别的所以对损失函数入手从训练策略入手。DETR是使用了匈牙利算法匹配预测框这个也是使用匈牙利算法匹配的分割图分类。它提出来了PQ来衡量这个匈牙利算法中每个选择的损失PQ就是分类得到的概率乘以分割得到的Dice值。它的损失就是动态加权的CE Loss和Dice Loss这个是匹配的损失。 不匹配的损失就是空集预测空集这个类别的CE损失。 总损失就是匹配的损失加上不匹配的损失。两者加权和。 Transformer块实现了2D像素路径CNN和1D存储器路径之间的所有四种可能类型的通信1传统的存储器到像素M2P注意力2存储器到存储器M2M自我注意力3允许像素从存储器中读取的像素到存储器P2M反馈注意力以及4像素到像素P2P自我注意实现为轴向注意力。 还有一个很大的堆叠了很多块的decoder,为了聚合多尺度特征。 最后输出是memory经过FC后得到的类别和解码器得到的经过上采样的mask预测和memory的进行点乘获得的mask。简单来说是这样。其中为了学习不同类别之间和类别背景之间的区别引入了对比学习的损失。感兴趣的可以看原文。
MaskFormer
目的掩码分类足够通用可以使用完全相同的模型、损失和训练程序以统一的方式解决语义和实例级的分割任务。 这篇就简单列一下。就是把语义分割和实例分割统一用掩码分类来解决。 逐像素分类的语义分割对每个位置应用相同的分类损失。掩码分类预测一组二分割掩码并为每个掩码分配一个类。 Architecture: pixel-level module, transformer module, segmentation module 为了训练掩码分类模型预测集和真实标签集之间的匹配是需要的。由于预测集和真实标签集的大小通常不同我们假设N≥Ngt并用“无对象”标记填充真实标签集以允许一对一匹配。对于语义分割如果预测的数量N与类别标签的数量K匹配则固定匹配是可能的。在这种情况下第i个预测与具有类别标签i和。如果具有类标签i的区域不存在于真实标签中。在实验中发现基于二部分匹配的分配比固定匹配显示出更好的结果。与使用边界框来计算匹配问题的预测和真实标签之间的分配成本的DETR不同我们直接使用类和掩码预测Lmask-cls即-第j个类的类别概率第j个类别掩码的dice损失。除了Lmask-cls之外大多数现有的掩码分类模型还使用辅助损失例如边界框损失或实例判别损失前面MaX deeplab就是用的个体判别损失就是对比学习损失一种。 分为三个部分 Pixel-level module:编码器解码器架构获得特征图和初始的分割预测。 Transformer module类似于DETR object query那个decoderquery不断与特征进行交互获得全局信息一部分用来分类一部分作为mask embedding对初始的分割预测进行加权。 Segmentation modulequeries经过分类头得到分类结果queries与初始预测的mask进行点积得到最后的分割预测。 trick:概率掩码对的索引i有助于区分同一类的不同实例。最后为了降低全景分割中的假阳性率我们遵循之前的推理策略[424]。具体来说我们在推理之前过滤掉低置信度预测并去除其二进制掩码mi0:5的大部分被其他预测遮挡的预测片段。
Mask2Former
目的为了统一分割任务就不要有什么语义分割、实例分割、全景分割了给你统一起来只用一个框架。 Architecture: a backbone feature extractor, a pixel decoder. a Transformer decoder 改进
在Transformer解码器中使用掩蔽注意力就是前一层预测得到的mask用作当前层掩码它将注意力限制在以预测片段为中心的局部特征上这些片段可以是对象也可以是区域这取决于分组的特定语义。与关注图像中所有位置的标准Transformer解码器中使用的交叉注意力相比我们的掩蔽注意力导致更快的收敛和改进的性能。使用多尺度高分辨率特征来帮助模型分割小对象/区域。我们提出了优化改进如切换自注意和交叉注意的顺序使查询特征可学习并消除遗漏所有这些都在无需额外计算的情况下提高了性能我们通过计算几个随机采样点上的掩码损失在不影响性能的情况下节省了3倍的训练内存。 这些改进不仅提高了模型性能而且大大简化了训练使计算量有限的用户更容易访问通用体系结构。 其中还用了深监督的方法DETR中也用了深监督。 缺点这表明即使Mask2Former可以推广到不同的任务它仍然需要针对这些特定任务进行训练。未来我们希望开发一种模型该模型可以针对多个任务甚至多个数据集只训练一次。
kMaX-DeepLab: k-Means Mask Transformer
解决的问题用于视觉的transformer忽视了语言与图像的重要区别。这阻碍了像素特征和对象查询之间的交叉注意力学习。 目的让transformer更加适合视觉任务。 重新思考了像素和对象查询之间的关系并提出将交叉注意力学习重新表述为一个聚类过程。 Architecturepixel encoder, enhanced pixel decoder, and kMaX decoder 与原始Mask Transformer的交叉注意力在大空间维度(图像高度乘以宽度)上执行softmax不同我们的kMaX - DeepLab在聚类中心维度上执行argmax类似于k - means像素-聚类分配步骤(伴随着一项艰巨的任务)。然后我们通过基于像素-簇分配(通过它们的特征亲和度计算)的像素特征聚合来更新聚类中心类似于k - means中心更新步骤。 整个模型分为两条路径像素路径和聚类路径分别负责提取像素特征和聚类中心。 以ResNet - 50和MaX - S为骨架的kMaX - DeepLab示例。FFN的隐藏维数为256。通过简单地更新像素编码器(用深蓝色标记)kMaX - Deep Lab的设计对不同的主干通用。增强型像素解码器和kMaX解码器分别用浅蓝色和黄色进行着色。 通过提出的单头k - means聚类代替多头交叉注意力来简化掩码变压器模型。通过建立传统k - means聚类算法和交叉注意力之间的联系为分割任务定制了基于Transformer的模型。
