与企业网站做接口,app关键词排名优化,网站高端建设,北京seoqq群目录
摘要
介绍
方法
VIT-V-Net体系结构
损失函数
图像相似性度量 变形场正则化
结果与讨论 摘要
在过去的十年里#xff0c;卷积神经网络(ConvNets)在各种医学成像应用中占据了主导地位并取得了最先进的性能。然而#xff0c;由于缺乏对图像中远程空间关系的理解卷积神经网络(ConvNets)在各种医学成像应用中占据了主导地位并取得了最先进的性能。然而由于缺乏对图像中远程空间关系的理解ConvNet的性能仍然受到限制。最近提出的用于图像分类的视觉转换器(VIT)使用了一种纯粹基于自我注意的模型该模型学习远程空间关系以关注图像的相关部分。然而由于连续的下采样VIT强调低分辨率的特征导致缺乏详细的定位信息不适合图像配准。最近几种基于VIT的图像分割方法被与ConvNets相结合以提高对详细定位信息的恢复。受它们的启发我们提出了VIT-V-Net它连接了VIT和ConvNet以提供3D医学图像配准。
介绍
近年来由于在自然语言处理方面取得了巨大的成功人们对开发基于自我注意的体系结构越来越感兴趣。、Dosovitski等人。(Dosovitski等人2020)提出了视觉转换器(VIT)这是第一个纯粹基于自我注意的网络并在图像识别方面取得了最先进的性能。在这一进展之后TransUnet(Chen等人2021年)是在用于二维(2D)医学图像分割的预先训练的VIT的基础上开发的。
然而医学成像方式通常产生体积图像(即3D图像)并且2D图像不能充分利用从3D体积获得的空间对应关系。因此发展3D方法在医学图像配准中更为可取。在这项工作中作者提出了一项研究以研究VIT在体积医学图像配准中的应用。提出了一种采用混合ConvNet-Transformer结构的VIT-V-Net用于自监督体图像配准。在该方法中VIT被应用于运动图像和固定图像的高层特征这需要网络学习图像中点之间的远距离关系。编码级和解码级之间的长跳跃连接被用来保持定位信息流。实验结果表明简单地将VoxelMorph的网络结构替换为Vit-V-Net就可以获得优于VoxelMorph和传统注册方法的性能。
方法
设f和m分别为固定图像和运动图像。我们假设f和m是单通道灰度图像并且它们是仿射对齐的。我们的目标是预测一个变换函数φ它将m(即m◦φ)翘曲到f其中φIduu表示位移矢量的流场Id表示恒等式。图1概述了我们的方法。首先深度神经网络(gθ)使用一组参数θ(即ugθ(fm))为给定图像对f和m生成u。然后通过空间变换函数执行翘曲(即m◦φ)(Jaderberg等人2015年)。在网络训练过程中比较m◦φ和f之间的图像相似度并将损失反向传播到网络中。 图1 VIT-V-Net的方法概述和网络结构
VIT-V-Net体系结构
VIT-V-Net体系结构VIT在全分辨率体积图像中的应用导致了很大的计算复杂性。在这里作者并没有将全分辨率图像直接送入VIT。
通过一系列卷积层和最大值池(图1中的蓝框)将图像(即f和m)编码成高级特征表示。在VIT(橙色框)中高层特征被分成N个矢量化的块其中表示块大小表示通道大小。使用可训练的线性投影将这些patch映射到潜在的D维空间。将可学习的position embedding添加到patch embedding以保留patch的位置信息。将生成的补丁送入Transformer编码器该编码器由12个交替的多头自我注意(MSA)和多层感知器(MLP)块组成最后对VIT的输出进行整形然后使用V-Net风格的解码器进行解码。 图2 Vision Transformer模型概述
请注意编码器和解码器之间也使用了长跳过连接。网络的最终输出是一个密集的位移场。然后将其用于空间变压器中以扭曲m。
损失函数
本研究中使用的图像相似性度量是均方误差以及由加权参数λ控制的扩散正则化用于在位移场u中施加平滑。
用于训练所提出的网络的损失函数可以写成 其中λ是正则化参数f和m分别是固定图像和运动图像φ表示变形场
图像相似性度量
以变形后的运动图像与固定图像之间的均方误差(MSE)作为损失函数。它被定义为 变形场正则化
为了增强变形场的光滑性使用了扩散正则化。它被定义为 结果与讨论
作者在脑部核磁共振图像配准任务中进行了实验法。使用了一个内部数据集其中包括260个T1加权的脑部MRI扫描。数据集被分成182、26和52(712)卷用于训练、验证和测试集。将每个图像体积随机匹配到另外两个体积以形成四对f和m得到768、104和208个图像对。结构脑MRI的标准前处理步骤包括颅骨剥离、重采样和仿射变换使用Freesurfer进行(Fischl2012)。然后将得到的体积裁剪成相等大小的160×192×224。使用Freesurfer获得了包括29个解剖结构的标记图以供评估。
将所提出的方法在Dice Score与对称正规化(SYN)、NiftyReg以及VoxelMorph-1和-2进行了比较。正则化参数λ被设置为0.02从结果可以看出作者提出的VIT-V网络在Dice性能方面产生了0.1的显著收益(p值如表所示)。总之基于VIT的注册体系结构取得了优于性能最好的注册方法的性能证明了VIT-V-Net的有效性。 表1 将所提出的方法与其他方法进行了总体骰子比较 图3 MR冠状切片的配准结果
