服装网站建设方案摘要,后端开发技术,网页打包app,搜盘 资源网摘要 本文提出了一种基于状态空间模型#xff08;SSMs#xff09;的创新架构——nnMamba#xff0c;用于解决3D生物医学图像分割、分类及地标检测任务中的长距离依赖建模难题。nnMamba结合了卷积神经网络#xff08;CNN#xff09;的局部特征提取能力与SSMs的全局上下文建…摘要 本文提出了一种基于状态空间模型SSMs的创新架构——nnMamba用于解决3D生物医学图像分割、分类及地标检测任务中的长距离依赖建模难题。nnMamba结合了卷积神经网络CNN的局部特征提取能力与SSMs的全局上下文建模优势通过设计的MICCSS模块通道-孪生空间学习显著提升了模型性能。在BraTS 2023、ADNI等6个数据集上的实验表明nnMamba在分割Dice系数73.98%、分类准确率89.41%及地标检测误差2.11等指标上均优于现有方法。该框架为医学图像分析提供了高效且轻量化的解决方案。 关键词3D医学图像分析 状态空间模型 长距离依赖建模 图像分割 引言
生物医学图像分析在疾病诊断、治疗规划等领域至关重要但面临高维数据处理和长距离依赖建模的挑战。传统CNN依赖局部感受野难以捕捉全局上下文Transformer虽能建模长距离关系但计算复杂度高尤其对3D医学图像如MRI、CT不友好。状态空间序列模型SSMs因其在长序列数据中的高效性受到关注而Mamba模型进一步引入输入自适应机制显著提升了密集数据场景的性能。 本文提出nnMamba一种融合CNN与SSMs的新型架构通过MICCSS模块在通道和空间维度建模长距离关系并针对分割、分类和地标检测任务优化设计。实验表明nnMamba在多项任务中达到SOTA且参数和计算量更低为医学图像分析提供了一种高效解决方案。 方法 1. 状态空间模型SSMs基础
SSMs通过线性常微分方程建模输入序列的全局关系。其数学形式为 x ′ ( t ) A x ( t ) B u ( t ) , y ( t ) C x ( t ) , x(t)A x(t)B u(t), \quad y(t)C x(t), x′(t)Ax(t)Bu(t),y(t)Cx(t), 其中 A A A、 B B B、 C C C为系统参数。结构化SSM如图2 c通过参数优化提升长序列建模能力而Mamba进一步引入输入自适应机制使其在医学图像等高维数据中更具优势。 2. MICCSS模块通道-孪生空间学习
MICCSS是nnMamba的核心模块结合CNN与SSMs实现局部特征提取与全局关系建模的协同。
2.1 并行CNN与SSM设计
Mamba卷积MIC将SSM嵌入CNN框架(如图2 d)公式为 F o u t Convs.O ( SSM ( Convs.I ( F i n ) ) Convs.I ( F i n ) ) , F_{out} \text{Convs.O}\left( \text{SSM}\left( \text{Convs.I}(F_{in}) \right) \text{Convs.I}(F_{in}) \right), FoutConvs.O(SSM(Convs.I(Fin))Convs.I(Fin)), 其中 Convs.I \text{Convs.I} Convs.I和 Convs.O \text{Convs.O} Convs.O为1×1卷积、批归一化及ReLU激活用于特征过滤与增强。
2.2 通道-孪生空间CSS交互
多维度翻转增强将输入特征重塑为 B × C × L B \times C \times L B×C×L通过翻转不同维度如空间维度生成增强特征共享SSM权重以捕获多向长距离依赖算法1。
算法1 CSS用于长距离建模的通道 - 孪生空间输入 1: SiamSSM // 具有共享参数的SSM 2: xflat ← 形状为[B, L, C]的输入特征 // 遍历翻转维度的组合 3: xmamba ← SiamSSM(xflat) 4: for d in {[1], [2], [1, 2]} do 5: xflip ← flip(xflat, dims d) 6: xmamba ← xmamba flip(SiamSSM(xflip), dims d) 7: end for 8: xmamba ← 1/4 xmamba 3. 任务特定架构设计
3.1 分割与地标检测
UNet式编码器-解码器编码器采用残差块与MICCSS模块解码器通过跳跃连接融合多尺度特征。跳跃连接公式为 X cat [ X h ′ , X h ⋅ SE ( pooling ( X h ) ) ] , X_{\text{cat}} \left[ X_h, X_h \cdot \text{SE}\left( \text{pooling}(X_h) \right) \right], Xcat[Xh′,Xh⋅SE(pooling(Xh))], 其中 SE \text{SE} SE为通道注意力模块用于特征缩放。
3.2 分类任务
分层顺序学习将不同分辨率的特征图池化后拼接为序列由SSM提取全局上下文公式为 P h MaxPool ( X h ) , 序列 Reshape ( [ P 2 , P 3 , P 4 ] ) . P_h \text{MaxPool}(X_h), \quad \text{序列} \text{Reshape}([P_2, P_3, P_4]). PhMaxPool(Xh),序列Reshape([P2,P3,P4]). 实验
1. 实现细节
优化器Adam学习率0.002权重衰减0.001评估指标Dice系数、NSD归一化表面Dice、HD95Hausdorff距离、MRE平均误差等。 2. 分割性能 表1 BraTS 2023脑肿瘤分割结果
方法Dice (%)NSD (%)HD95 (mm)TransUNet72.3463.218.45nnFormer73.1264.787.89nnMamba75.8666.026.23 表2 AMOS2022多器官分割结果
方法mDice (%)mNSD (%)Params (MB)UNet68.2158.3432.10SwinUNet71.4562.1545.22nnMamba73.9865.1315.55
nnMamba在保持轻量化仅15.55MB参数的同时分割性能显著领先。 3. 分类与地标检测
表3 ADNI分类结果
方法ACC (%)F1 (%)AUC (%)ResNet-3D85.3284.1292.34ViT-Base87.8986.4594.21nnMamba89.4188.6895.81
表4 地标检测误差对比单位mm
方法TCD1TCD2HDV1HDV2ADV1ADV2平均ResUNet2.452.672.893.123.013.342.91VitPose2.212.352.542.782.662.922.58nnMamba1.982.052.112.242.172.282.11 结论
nnMamba通过融合CNN的局部特征提取与SSMs的全局建模能力在3D医学图像分析中实现了高效的长距离依赖建模。实验表明其在分割、分类和地标检测任务中均达到SOTA性能且模型轻量化优势显著。未来工作将探索其在更多模态医学图像中的应用。
代码开源地址https://github.com/lhaof/nnMamba
