网站源码免费下载,经典网站欣赏,杭州公司网站建设电话,做简单最网站的软件是Enhancing Medical Image Retrieval with UMLS-Integrated CNN-Based Text Indexing
问题
医疗图像检索中#xff0c;图像与相关文本的一致性问题#xff0c;如患者有病症但影像可能无明显异常#xff0c;影响图像检索系统准确性。传统的基于文本的医学图像检索#xff0…Enhancing Medical Image Retrieval with UMLS-Integrated CNN-Based Text Indexing
问题
医疗图像检索中图像与相关文本的一致性问题如患者有病症但影像可能无明显异常影响图像检索系统准确性。传统的基于文本的医学图像检索TBMIR方法存在不足如简单关键字方法忽略医学实体含义概念方法则耗时耗空间。卷积神经网络CNN模型在医疗图像检索尤其是 TBMIR 中的应用效果不佳原因是排名过程复杂且现有模型未充分考虑医学领域特异性。 挑战
确定如何将 TBMIR 任务视为图像检索任务而非传统信息检索或自然语言处理NLP任务以充分发挥 CNN 在医疗图像检索中的潜力。处理医疗图像和文本数据的语义关系克服低级视觉特征与高级语义特征之间的差距提高检索准确性。 创新点
提出一种基于深度匹配模型DMM和医学相关特征MDF的新方法用于重新排序医疗图像有效考虑了 TBMIR 任务特性。利用统一医学语言系统UMLS构建语义相似性矩阵通过个性化卷积神经网络CNN生成查询和图像元数据的有效表示以实现更准确的匹配。 贡献
提出了一种创新的 SemRank 模型利用 MDF 和 UMLS 改进医疗图像检索中的排名。通过实验证明了将 MDF 和 UMLS 集成到 DMM 中可显著改善重排序过程提高检索性能。 提出的方法
总体流程利用相关性反馈整合图像和文本查询信息将文本查询和图像元数据表示为 MDF通过 UMLS 构建语义相似性矩阵使用个性化 CNN 构建查询和文档的良好表示计算匹配分数最后结合基线分数进行重新排序。具体步骤 初步步骤将查询和文档表示为 MDF 集合通过 MetaMap 工具将 MDF 转换为概念使用 UMLS Similarity 工具计算概念间相似度构建语义相似性矩阵将每个查询 / 文档转换为语义相似性矩阵。深度匹配模型DMM构建 查询和文档矩阵提取将查询和文档转换为 MDF 向量再转换为语义相似性矩阵通过与语义相似性矩阵相乘得到新的查询矩阵。个性化 CNN 卷积层设计多种查询和文档过滤器计算如 MDF 共现、文档排名等特征通过卷积操作产生输出向量。激活函数采用 ReLU 函数进行非线性变换。池化层使用最大池化聚合信息、减少表示并提取全局特征。全连接层生成最终的查询或文档向量表示。匹配函数采用基于表示的模型使用余弦相似度计算查询和文档的相关性得分。SemRank 语义重新排序模型结合 DMM 得分和基线得分如 BM25通过线性组合计算 SemRank 分数对文档进行重新排序。 指标
平均准确率MAP用于衡量检索系统在多个查询下的平均性能。精确率P5、P10分别表示在前 5 个和前 10 个检索结果中的精确率。 模型结构
输入层接收以 MDF 表示的查询和文档。隐藏层 包含卷积层应用多种查询和文档过滤器提取特征。激活函数层使用 ReLU 函数进行非线性变换。池化层采用最大池化操作。全连接层生成最终向量表示。输出层输出查询和文档的相关性得分用于排序。 结论
提出的 SemRank 模型利用外部语义资源MDF 和 UMLS改进了医疗图像检索排名。在 Medical ImageCLEF 数据集上的实验表明该模型在重排序过程中显著提升了性能与多种现有方法相比具有优势。 剩余挑战和未来工作
剩余挑战数据集的版权限制导致实验数据有限部分模型如 Bo1PRF在处理包含大量非临床图像的数据集时表现较好凸显了现有模型对图像多样性处理的不足。未来工作 增强 CNN 模型集成更多包含广泛检索属性的过滤器。改进 SemRank 模型融入视觉特征以提高图像检索精度。 抽象的 近年来卷积神经网络 (CNN) 模型在图像分类和自然语言处理 (NLP) 等各个领域都取得了显著的进步。尽管它们在图像分类任务中取得了成功但它们对医学图像检索尤其是基于文本的医学图像检索 (TBMIR) 任务的潜在影响尚未完全实现。这可能归因于排名过程的复杂性因为将 TBMIR 视为图像检索任务而不是传统信息检索或 NLP 任务存在歧义。为了解决这一差距我们的论文提出了一种使用深度匹配模型 (DMM) 和医学相关特征 (MDF) 对医学图像进行重新排名的新方法。这些特征结合了医学术语和成像模式等分类属性。具体而言我们的 DMM 旨在使用个性化 CNN 为查询和图像元数据生成有效的表示从而促进这些表示之间的匹配。通过使用 MDF基于统一医学语言系统 (UMLS) 元词库的语义相似性矩阵和一组考虑了一些排名特征的个性化过滤器我们的深度匹配模型可以有效地将 TBMIR 任务视为图像检索任务如前所述。为了评估我们的方法我们在 2009 年至 2012 年的医学 ImageCLEF 数据集上进行了实验。实验结果表明与基线和最先进的方法相比所提出的模型显著提高了图像检索性能。 关键字 基于文本的医学图像检索卷积神经网络医学相关特征UMLS 元词典 1. 简介 医疗信息检索具有一系列与改善医疗保健相关的应用和解决方案。从根本上讲它包括图像检索、报告检索和对包含图像和文本的数据库的自然语言查询。然而图像检索是一项具有挑战性的任务因为它可能非常主观需要高级认知处理。临床上使用的图像检索主要有两种类型。一种是医疗专业人员清楚地知道他们要寻找什么并使用图像来寻找特定信息。第二种情况是医疗专业人员有一张图像并希望找到所有相似的图像来帮助诊断或作为教学辅助。第一步需要手动工作因为标签需要手动附加到图像上通常作为元数据。当图像存储在大型数据库中如图片存档和通信系统 (PACS)时这可能是一项非常混乱且耗时的任务。第二步涉及使用图像作为查询进行搜索并使用图像的视觉特征的算法方法尝试检索相似的图像。随着技术的进步越来越多的人支持转向自动图像注释和基于内容的检索。CNNMIR 模型旨在基于内容的图像检索 (CBIR) 领域改进当前的技术水平。 在医学领域图像通常是一组先前评估过的病例的参考集医生可使用它们来做出正确的决策。随着医学图像的大量增长领域专家很难在大型医学数据集中找到相关图像。因此对高效且有效的医学图像检索系统的需求变得迫切 [ 1 ]。医学图像检索主要有两种方法被广泛使用基于文本和基于内容的检索。这些方法使用不同的原理来搜索相关图像基于文本的方法依赖于图像的高级语义特征而基于内容的方法依赖于图像的低级视觉特征例如颜色、形状和纹理。比较这两种方法由于低级视觉特征和高级语义特征之间的差距基于内容的医学图像检索 (CBMIR) 的性能较差 [ 2,3 ] 。因此一些医学图像检索系统应用基于文本的医学图像检索 (TBMIR) 方法来搜索图像 [ 4 ]。这些方法大多是要么是传统的基于关键词的简单方法忽略了医学实体的含义要么是基于概念的方法既耗时又耗磁盘空间。根据我们之前的研究 [ 5 , 6 ]医学图像的文本描述中存在特定的医学信息即医学相关特征 (MDF)对 TBMIR 方法的性能有积极影响。 近年来卷积神经网络 (CNN) [ 7,8 ] 模型在自然语言处理 (NLP) [ 9 ]和计算机视觉 [ 10 ] 等多个领域表现出显著的性能提升。鉴于这些领域的成功它似乎可以有效地用于图像检索。不幸的是到目前为止CNN 模型并没有对医学图像检索产生显著的积极影响尤其是基于文本的医学图像检索 (TBMIR) [ 11 ]。这可能是由于排名过程的复杂性如何将 TBMIR 任务视为图像检索任务 [ 12 ] 而不是传统的信息检索任务或 NLP 任务并不明显。事实上传统的信息检索系统可以确定文档与给定查询的相关性然而NLP 系统会推断查询和文档之间的语义关系。这两个系统在其处理过程中都没有考虑到图像的特殊性。 在我们之前的工作 [ 13 ] 中我们提出了一个个性化的 CNN 模型该模型在检索过程中考虑了图像的特殊性。在该模型中我们考虑了 Word2Vec 模型进行词嵌入。然而众所周知Word2Vec 模型考虑的是一般术语而不是特定于任何领域的术语。由于我们的工作适用于医学图像检索领域我们认为使用医学语义资源如 UMLS来转换文本词更为合适。 本文提出了一种不同于传统信息检索和 NLP 的 TBMIR 深度匹配流程具体如下首先该流程考虑到图像的特殊性将文本查询和图像元数据文档映射到 MDF 中。其次该流程使用 UMLS 提取 MDF 之间的语义关系以构建查询和文档的良好表示第三该流程使用提取的关系计算文档与查询的相关性。 文献中提出了多种深度匹配模型然而它们大多数是为 NLP 而非信息检索设计的。实际上它们考虑的是语义匹配而不是相关性匹配。根据架构这些模型可分为两类 [ 14 ]第一种是注重交互的模型 [ 15 , 16 ]。这些模型提取查询和文档之间的关系然后将它们集成到深度神经网络中以创建新的匹配模型。第二种是注重表示的模型 [ 15 , 17 ]。这些模型应用深度神经网络为查询和文档提取最佳表示然后将它们集成到匹配过程中。 在本文中我们提出了一种基于深度匹配模型 (DMM) 的 TBMIR 医学图像重新排名新方法。总体而言我们的模型是一种新的以表示为中心的模型它使用 MDF、UMLS 和个性化 CNN 进行相关性匹配从而构建查询和文档的良好表示。具体来说我们首先通过提取每对 MDF 之间的 UMLS 关系来创建语义相似度矩阵。每个查询/文档 MDF 都被映射到一个相似度向量该向量表示相应 MDF 与所有 MDF 之间的关系。由于每个查询/文档都由 MDF 组成因此查询/文档的结果表示将是一个相似度矩阵。使用这些矩阵我们的模型试图为查询和文档找到最佳表示。事实上它应用了一个个性化的 CNN该 CNN 由考虑到一些排名特征的检索过滤器组成。最后计算出一个总体匹配分数。 我们使用 2009 年至 2012 年的 ImageCLEF 数据集评估了所提出的 DMM 的有效性。为了进行比较我们考虑了三种众所周知的传统检索模型。实证结果表明我们的模型在所有评估指标方面都明显优于基线模型。 本文的结构如下第 2 节总结了相关工作。第 3 节描述了所提出的 DMM 模型。第 4 节首先描述了如何使用 UMLS 相似性将 MDF 表示为语义相似性矩阵其次描述了具有特定过滤器的个性化 CNN 模型最后描述了匹配函数。第 7 节介绍并讨论了实验和结果。最后第 8 节总结了本文并提出了一些未来的工作。 2.相关工作 基于文本的索引提供了利用相关报告对医学图像进行索引的可能性从而为访问呈指数级增长的临床图像数据库提供了重要途径。当前从医学数据库中检索图像的方法要么基于属性图像内容要么基于非图像内容。基于内容的图像检索 (CBIR) 方法依赖于图像特征例如形状、纹理或在大多数成功情况下先前分配的语义特征来检索相似的图像。非图像内容检索方法通常处理基于文本的数据库搜索其中将搜索查询提交到图像数据库并将与图像相关的文本与查询进行比较。但是这两种方法都没有考虑与图像相关的实际医学知识和更传统的组织医疗记录的方法这些方法是通过关键字进行索引的。基于文本的图像检索大体上建立在检索技术的基础上该技术旨在从大量图像数据库中查找与给定查询相关的所有图像。在所提出的系统的大多数教科书研究中将特定图像作为条目给出并且用户希望检索与给定查询相关的所有图像。虽然它实际上是基于文本的图像检索的一个子类型其中实际的基于文本的图像不可用并且受到图像某些基于关键字的注释可用性的限制。但这种方法已被证明在检索与给定查询相关的图像方面非常有效因此可以推广到以文本为主要形式的检索系统。从图像中创建“相关特征索引”实际上是创建一个将图像链接到文本的可搜索数据库。 在文献中有几篇论文研究了 CNN 和语义在医学图像检索中的应用。本节简要总结了其中一些论文。 2.1. 用于医学图像检索的 CNN CNN模型在医学图像检索领域的应用已引起广泛关注 [ 181920 ]。[21] 中的作者使用基于词袋 (BoW) 技术的 CNN 模型来索引生物医学文章。在这个特定的模型中输入是一个数字矩阵代表输入文本中包含的各种医学术语。之后使用隐藏层系统为文档分配类别。[ 22 ] 的作者开发了另一种可用于检索操作的医学文本分类方法。它通过使用 CNN 训练来提取输入句子的语义更具体地说它使用 Word2vec 技术来表示输入句子。该方法基于 CNN 的使用。在由众多隐藏层组成的 CNN 模型的训练过程中它还会维护停用词列表。引用文章 [ 23 ] 中的作者使用 CNN 模型来消除用于医学文献检索的临床笔记中的背景噪音。他们使用 GloVe 向量表示输入问题这些向量在以下参考文献中引用[ 24 ]。CNN 模型在本研究中的主要目的是预测搜索查询短语的相对相关性。 尽管 CNN 在计算机视觉和 NLP 领域取得了成功但使用 CNN 在 TBMIR 中搜索相关文档并不有效这可能是由于排名过程的复杂性。此外大多数现有的 CNN 模型在表示查询和文档时没有考虑到医学领域的特殊性。后者需要使用外部医学资源进行语义提取。 2.2. 医学图像检索中的语义 在医学图像检索领域中语义知识的整合已受到广泛关注例如 [252627 ] 。[ 28] 中的作者在医学领域使用 UMLS 元同义词库来改进查询并将单词转换为医学术语。他们使用 UMLS 元同义词库 [29] 将语义整合到检索过程中将文本映射到概念中。所引用论文 [ 30 ]的作者开发了一种检索方法使用基于潜在语义主题描述的剪枝词典来发现各种医学照片之间的区分性特质。他们通过计算主题词相关性来实现这一点这使他们能够预测单词与基础主题的关系。潜在主题是根据图像和单词之间的关联学习到的它们用于弥合低级视觉特征和高级语义特征之间的差距。这是通过弥合低级视觉特征和高级语义特征之间的差距来实现的。此外在 [ 31 ] 中作者提出了一种基于语义特征的图像检索框架。该框架依赖于 (1) 自动预测定义图像内容的本体术语和 (2) 通过分析注释之间的相似性来检索相似图像。对该系统的研究表明在检索医学图像时使用本体是有益的。 尽管在医学图像检索中使用CNN和语义资源的研究很多但缺乏将语义知识融入CNN模型以提升医学图像检索性能的研究。因此我们提出了一种基于个性化CNN和语义资源MDFUMLS的新型深度匹配模型来提高检索准确率。 3. 我们的方法概述 众所周知医学图像和相关报告通常不一致。例如一名椎间盘突出但没有任何症状的患者其 MRI 扫描结果不会出现太多异常但会有很多与其病情相关的单词或短语。这种不一致是医学图像检索系统面临的一个主要问题因为医学图像检索系统依赖于图像和相关文本“大致相同”。考虑到这一点以及我们分别对图像和文本进行索引的事实我们需要设计一种方法让文本查询可用于辅助图像查询反之亦然而无需用户在两者之间切换。 我们提出的解决方案利用相关性反馈使用另一种模态整合来自图像和文本查询的信息。例如如果用户试图找到与“左肺癌”报告相对应的图像当前系统要求他们使用自然语言处理 (NLP) 工具单独索引文本并制定查询然后对图像重复该过程。这种方法效率低下需要用户在模态之间切换。相比之下我们的系统使用户能够使用 NLP 工具索引文本或查询随后识别与文本相对应的相关图像。模态特定技术随后根据图像与文本的相似性对其进行排名。这种方法自动执行“查找与此报告匹配的图像”的任务从而提高效率和准确性。 由于 MDF 对检索性能 [ 613 ] 和查询分类 [ 3233 ] 都有积极影响我们选择将它们集成到深度匹配模型中。在本研究中我们利用统一医学语言系统 (UMLS) 作为语义资源来构建语义相似度矩阵它表示医学相关特征 (MDF) 对之间的关系。文献 [ 343536 ] 广泛认为 UMLS 是一个全面的词库和生物医学概念本体旨在链接各种生物医学术语。通过利用 UMLS我们确保为分析提供强大的语义框架。此外我们的系统允许用户使用自然语言处理 (NLP) 工具索引文本或查询从而有助于更准确、更有效地检索相关医疗信息。 提出了一种使用 MDF 的新型个性化 CNN 模型为查询和文档构建最佳表示用于计算其匹配分数。在本文中图 1概述了我们的方法 初步步骤 我们将每个查询/文档表示为一组特征然后对于每个 MDFF我我们分配从相似度矩阵中提取的相应向量。因此每个查询/文档都表示为一个矩阵。 深度匹配模型流程 首先我们使用个性化的 CNN 模型构建查询/文档的良好表示该模型考虑了查询和文档之间的交互。事实上已经提出了几个个性化过滤器并将其集成到这个模型中。然后应用匹配函数来测量查询和文档表示之间的匹配程度。更准确地说我们使用余弦相似度函数作为匹配函数。 其次我们将获得的分数与相应的基线分数相结合形成新的重新排序分数。重新排序过程是通过根据新分数对图像进行排序来实现的。 4. 深度匹配模型初步步骤
4.1. 医疗依赖特征
由于我们的工作属于医学图像检索领域我们建议将 MDF [ 6 , 32 ]一组分类医学特征集成到新的深度匹配模型中以提高检索性能。 图 2中显示了医学相关特征。 图 2. 医疗相关特征。 每块中密度纤维板f我具有 m 个关联值 v定义为 { 1 , 2 , … }f我五1五2…五米我们工作中使用的MDF组详细如下 放射学 “超声成像”、“磁共振成像”、“计算机断层扫描”、“X 射线”、“2D 射线成像”、“血管造影”、“PET”、“单幅图像中的组合模式”、“冠状动脉造影”、“膀胱造影”、“闪烁显像”、“乳房 X 线摄影”、“骨密度测定”、“放射治疗”、“泌尿道造影”、“盆腔超声”、“脊髓造影”、“FibroScan” 显微镜检查 “光学显微镜检查”、“电子显微镜检查”、“透射显微镜检查”、“荧光显微镜检查”、“活检”、“粪便显微镜检查”、“毛细血管镜检查”、“滋养层活检”、“细胞学” 可见光摄影“皮肤科”、“皮肤”、“内窥镜检查”、“其他器官”、“阴道镜检查”、“膀胱镜检查”、“宫腔镜检查” 打印信号和波 “脑电图”、“心电图”、“肌电图”、“动态心电图”、“听力测定”、“尿动力学评估” 通用生物医学插图 “模态表格和表格”、“程序列表”、“统计数字”、“图形”、“图表”、“屏幕截图”、“流程图”、“系统概述”、“基因序列”、“色谱”、“凝胶”、“化学结构”、“数学公式”、“非临床照片”、“手绘草图” 维度 “宏观”、“微观”、“小”、“总体”、“综合维度” V-Spec “棕色”、“黑色”、“白色”、“红色”、“灰色”、“绿色”、“黄色”、“蓝色”、“彩色” T-spec “发现”、“病理学”、“鉴别诊断”、“羊膜穿刺术”、“血象”、“无创产前筛查”、“尿液分析”、“腰椎穿刺”、“精液图”、“三重测试” C-spec “组织学”、“骨折”、“癌症”、“良性”、“恶性”、“肿瘤”、“妊娠”、“抗生素谱” 4.2 语义矩阵构建
在本节中我们介绍了一种使用两种语义资源的新语义映射方法MDF 和 UMLS。在 NLP 中文本数据经常被转换成数字向量深度模型可以将其作为输入进行处理。已经提出了几种用于词嵌入的方法例如 Word2Vec、Glove 和独热编码。通常这些模型考虑不特定于任何领域的一般术语来推导单词之间的相似性和关系。由于我们的工作适合医学图像检索领域我们相信如果使用 UMLS 等医学语义资源来转换文本单词检索性能可以得到提高。我们将查询和文档表示为一组 MDF以仅保留与医学领域相关的语义信息。然后使用 MetaMap 工具将每个 MDF 转换为一个概念然后使用 UMLS 相似度工具 [ 37 ] 计算每对概念之间的相似度然后构建相似度矩阵 如图 1所示。 如图 1的初步步骤所示所有特征都转换为相似度矩阵因此需要执行以下步骤 步骤 1:使用MetaMap 工具 [ 38 ] 将每个 MDF 转换为概念。 步骤 2使用 UMLS相似度工具 [37,39 ]计算每对医学概念之间的相似度。这些语义相似度得分排列在语义矩阵中。更准确地说我们使用 Resnik 度量来确定提取的概念之间的语义关系因为根据 [ 40 ]它比基于路径的度量表现更好。 5.深度匹配模型构建
新的 DMM 模型是一个以表征为中心的模型它应该使用深度神经网络为查询和文档构建良好的表征并在相应的表征之间进行匹配。此外该模型还应考虑到信息检索、NLP 和医学图像检索的特殊性。 我们的 DMM 模型的输入是一组以 MDF 呈现的查询和文档每个 MDF 被转换成概念然后转换成数字向量以供网络的后续层处理。接下来我们详细介绍了我们的 DMM 模型的主要组件查询/文档矩阵提取、个性化 CNN 和匹配函数。 5.1 查询和文档矩阵提取
由于我们的工作适用于医学图像检索领域我们将查询和文档表示为一组 MDF以便仅保留与医学领域相关的语义信息。在本文中我们建议将每个查询和文档转换为 MDF 向量。然后每个向量转换为语义相似度矩阵如图 3所示 图3. 查询矩阵提取过程。 步骤 1对于每个查询/文档向量我们根据查询/文档是否包含特征值为每个 MDF 分配一个二进制值。结果向量V的长度等于n其中n是 MDF 的数量。该向量被转换为 ∗ n∗n矩阵M/ ∀ ∈ , ∀ ∈ , [ ] [ ] [ ]/∀我∈n∀杰∈n米[我][杰]五[我]其中i表示行索引j表示列索引。 第 2 步将结果矩阵 M 与语义相似度矩阵 SSM 相乘得到新的查询矩阵 NQM如下所示 [ ] [ ] [ ] [ ] ∗ [ ] [ ]否问米[我][杰]米[我][杰]∗年代年代米[我][杰] 计算说明如图3所示。 5.2. 个性化 CNN 在本节中我们将介绍个性化 CNN它明确解决了上述三个特殊性。实际上过滤器旨在提取查询和文档的最佳表示。在每个表示中网络都会考虑几个检索特征例如 MDF 共现、文档排名和 IPM 分数。此外它在提取文档和查询之间的交互时会考虑每个查询/文档表示的 NLP 特征。事实上根据 [ 14 ]大多数 NLP 模型都会提取两个文本之间的交互。 下面我们介绍我们的网络层卷积层、激活层、池化层和全连接层。 图 4展示了个性化 CNN 模型的架构。 图4. 个性化CNN模型的架构。 5.2.1. 卷积层 在此层中有一组过滤器 ∈ℝF∈Rd应用于查询和文档向量以生成不同的特征图。在我们的模型中查询过滤器与文档过滤器不同。下面我们提供了有关每个组件文档和查询使用的过滤器的详细信息。 查询过滤器 查询过滤器旨在通过考虑文档与查询之间的关系来提取查询的最佳表示。文档与查询越相关生成的向量值就越高。 置信度查询过滤器 (CoQF)其思想包括计算查询 MDF 与所有 MDF 的共现。 ∑ ∈ ∑ ∈ (∑ ∈ (碳o问F∑杰∈问∑我∈德frf我f杰∑我∈德frf我 1 其中Q是查询 MDFD是文档 MDF (frf杰是集合中查询 MDF 的共现 (frf我是集合中文档 MDF 的共现并且 (frf我f杰是集合中查询 MDF 和文档 MDF 的共现。 为了考虑文档的长度我们使用了这个过滤器。仅包含查询 MDF 的文档应该比除查询之外还包含其他 MDF 的文档更相关。事实上两个文档都是具体的但第一个文档更详尽。为此我们建议用文档和查询中的 MDF 数量除以文档 MDF 的数量。如果文档不包含任何查询 MDF则该值为 0。 长度查询过滤器 (LQF)对于每个查询如果文档包含所有查询 MDF则我们将文档和查询中的 MDF 数量除以文档 MDF 数量。否则该值将等于 0。 | ∈ ( , ) || ∈ |大号问F米德F∈问德米德F∈德 2 在哪里| ∈ ( , ) |米德F∈问德是查询 MDF Q和文档 MDF D中的 MDF 数量并且| ∈ |米德F∈德是包含所有查询 MDF 的文档中的 MDF 数量。 排名查询过滤器 (RQF)我们计算逆文档排名。如果文档未出现在第一次搜索中则 RQF 将相等。 1她的母亲R问F1docr一个n钾 3 邻近查询过滤器 (PQF)如果文档包含查询 MDF我们将计算文档中这些 MDF 之间的距离的倒数。在这种情况下两个特征之间的距离由位于它们之间的特征总数表示。 11 ∑ ∈ 磷问F11∑d我s吨米德F∈德 4 在哪里 ∈ d我s吨米德F∈德是文档 MDF 之间的距离。 PMI 查询过滤器 (PMIQF)PMI逐点互信息[ 41 ] 是一种用于查找具有相近含义的特征的度量。事实上MDF 的 PMIf我和f杰是使用以下情况定义的f我 (frf我 和f杰 (frf杰), 共现 (frf我f杰在特征向量内N是集合大小。 藝術本身 ( ) × ( () × (磷米我F问F升o克否×frf我f杰frf我×frf杰 5 该方程计算集合中语义上最接近的 MDFf我和f杰。 特征差异查询过滤器 (FDQF)未找到的查询 MDF 越少文档的相关性越高。对于每个查询我们计算不在文档 MDF 中的查询 MDF 数量的倒数。 11 | ∈ { ∩ } |−−−−−−−−−−−−−−−−−−√F德问F11米德F∈问∩德 6 文档过滤器 与查询过滤器类似文档过滤器试图提取文档的最佳表示。它们基于文档和查询之间的关系。文档与查询的相关性越高得到的向量值就越高。 置信度文档过滤器 (CoDF)此文档过滤器确定查询中包含的 MDF 文档总数。文档的相关性将与其包含的查询 MDF 数量成正比增加。 ∑ (̲∩̲碳o德F∑f我问̲∩f杰d̲ 7 在哪里̲∩̲f我问̲∩f杰d̲是查询中常见 MDF 的数量。 长度文档过滤器 (LDF)对于文档首先我们确定相关查询中包含的文档 MDF 的数量得到该数量后我们将其除以文档长度 大号德。事实上如果文档的大小适中并且与正在进行的查询具有几个共同的特征那么文档的相关性就会增加。 |他是一个强大的恶魔| 大号德F米德Fdoc我n问你埃r是大号德 8 在哪里|他是一个强大的恶魔|米德Fdoc我n问你埃r是是文档和查询中的 MDF 数量并且 大号德是使用 MDF 特征的文档长度。 排序文档过滤器 (RDF) ∑∈ ( ) × R德F∑我∈问frf我我ndoc×γ 9 变量 (frf我表示文档中查询 MDF 的频率而γ表示查询在文档中的组织因子。γ如果查询在文档中保留其组织则为 1否则为 0.5。 邻近文档过滤器PDF查询中存在的文档特征越接近其相关性就越高。 1|∈ |磷德F1f我∈问 10 在哪里∈F德∈问是查询中的文档 MDF。 PMI 文档过滤器 (PMIDF)与查询过滤器中的 PMI 类似文档过滤器中的 PMI 尝试查找具有相近含义的 MDF。它具有相同的公式只是此过滤器中的N是文档大小。 藝術本身 × ( () × (磷米我F德F升o克否×frf我f杰frf我×frf杰 11 该方程计算文档中语义最接近的 MDF。 特征差异文档过滤器FDDF不在查询中的文档MDF数量越少文档的相关性就越高。 11 | ∈ − |−−−−−−−−−−−−−−−−√F德德F11米德F∈德−问 12 其中D是文档 MDFQ是查询 MDF。 DMM 模型的输入是一个矩阵∈ℝ × 年代∈Rn×n卷积滤波器也是矩阵 ∈ℝF∈Rn。值得注意的是这些过滤器具有与输入矩阵相同的维数表示为n。此外这些过滤器扫描向量表示并生成输出向量 ∈ℝ碳∈R米. 各组件c我矢量C的乘积是通过将矢量V与滤波器F相乘然后将得到的值相加以获得单个值而获得的。 ∑ 1c我∑钾1n五钾F钾 13 5.2.2. 激活函数 卷积层之后紧接着一个非线性激活函数称为藝術本身一个升页时长一个该函数被应用于前一层的输出。通过使用此函数可以将神经元的输入信号转换为输出信号。在已完成的研究中已经提出了许多不同的激活函数 [ 42 ]。其中一个函数称为整流线性单元 (ReLU) 函数它确保将正值传递到后续层。[ 43 ] 中的作者证明此函数有效、简单并且能够降低复杂性以及计算所需的时间。因此我们决定将此函数作为激活函数包含在我们的模型中。 5.2.3. 池化层 池化层的目标是做三件事聚合信息、最小化使用的表示量以及从卷积层的局部特征中获取全局特征。在文献中可以找到两个函数1平均值包括计算卷积层每个特征图的平均值以考虑输入的所有元素即使其中许多元素的权重较低 [ 44 ]2最大值包括选择卷积层每个特征图的最大值。执行这两个操作都是为了考虑输入的所有元素。我们决定在研究中采用最大池化因为它只考虑具有高激活值的神经元最终导致输入数据的高水平语义抽象。 5.2.4. 全连接层 为了生成查询或文档的最终向量表示将全连接层 (FCL) 应用于上一步生成的向量。 5.3. 匹配函数 根据 [ 14 ] 的说法与信息检索相关的最重大挑战是匹配问题它指的是根据查询确定文档相关性的过程。如果我们有一个用d表示的文档和一个用q表示的查询那么匹配函数是一种为d和q的表示分配分数的机制 藝術本身 Φ Φ R年代五d问Fφdφ问 14 其中F代表评分函数藝術本身磷时长我是将每个d | q对转换为矢量表示的映射函数。在对该主题进行的研究中已经提出了许多不同的深度匹配模型用于整个匹配过程。这些轮廓组合在一起时主要分为两类。以表示为中心的模型是第一个在这个模型中藝術本身磷时长我是一个复杂的映射函数而F是一个简单的评分函数。该模型利用深度神经网络来为文档和查询构建准确的表示。之后它会在这些不同的表示之间进行某种匹配。第二个是交互重点模型其中φφ是简单映射函数F是复杂评分函数。 我们使用以表征为中心的模型其中藝術本身磷时长我是一个复杂的表征映射函数而F是一个简单的匹配函数。由于复杂的藝術本身磷时长我基于个性化 CNN 的映射函数是我们选择的驱动因素我们采用更基本的基于F的余弦相似度。文档与查询的相关性的正式定义如下 藝術本身→→) →。→∥→∥。∥→∥R年代五问德cos我n埃问→德→问→。德→问→。德→ 15 在哪里→问→和→德→分别是查询和文档向量。在 IR 中对于给定的查询文档按其相关性得分进行排序。 6. SemRank基于DMM的语义重排序模型 在本文的上一部分我们讨论了基于 MDF 的深度匹配模型该模型计算文档d相对于查询q的 DMM 分数。但是仅使用 MDF 搜索相关文档是不够的某些短语无法映射到 MDF因此应将此类关键字从搜索中排除。因此我们建议将 DMM 的结果与基线的结果相结合并考虑所有查询词。更具体地说我们建议使用最常见的后期融合方法对 SemRank 分数进行建模该方法被称为直接线性组合。在将两个分数加在一起之前我们首先按以下方式标准化初始分数和 DMM 分数 藝術本身他 ∗她的母亲是一个最大她的母亲是一个强大的恶魔 1 − ∗她的母亲最大重量年代埃米R一个n钾scor埃α∗我n我吨我一个升年代cor埃最大限度我n我吨我一个升年代cor埃s1−α∗德米米年代cor埃最大限度德米米年代cor埃 16 在哪里α是一个平衡参数 ∈ [ 0 … 1 ]α∈[0…1]InitialScore 表示文档的初始排名分数和同一文档的 DMM 分数。归一化分数是通过将给定文档d的相关性分数除以整个集合中的最高相关性分数而获得的。作为基准我们建议使用 BM25 模型该模型以其效率和在许多检索任务中的表现而闻名 7.实验与结果 在本节中我们描述实验数据集然后展示我们发布的几个实验以评估我们模型的准确性并将其与一些现有方法进行比较。 7.1. 实验数据集 为了评估我们所建议方法的有效性必须使用包含图像和文本描述以及查询和基本事实的医学图像数据集。 目前可用的大多数医学数据集都不满足这些标准。 一些来源缺乏评估协议例如 OHSUMED[ 45 ]而其他一些则侧重于文本分析和评估如 TREC。 另一方面ImageCLEFmed 评估活动提供了特定的医学图片集用于评估医学图像检索。 从 2011 年起这些集合的数量和范围与现实世界应用中的集合相当[ 46 ]。 由于版权限制只有通过与原版权所有者达成特殊协议才能将 ImageCLEFmed 集合重新分发给研究小组[ 47 ]。 因此我们只能使用已获得版权的五个集合进行实验。这些数据集如表 1所示由两个相对较小的数据集组成2009 年 [ 48 ] 和 2010 年 [ 49 ] 数据集分别包含 74,902 和 77,495 幅图像。ImageCLEF 经过改进后又添加了三个数据集2011 年 [ 50 ] 数据集包含 230,088 幅图像2012 年 [ 51 ] 和 2013 年 [ 52 ] 数据集包含 306,539 幅图像。 表 1. 使用 ImageCLEF 数据集与以前最先进的方法的比较结果。 这些数据组中的每幅图像都附有文字描述。图像可以包含其标题中的文字也可以包含指向 HTML 页面的超链接该页面包含文章的全文 [ 53 ] 以及文章标题 [ 48 ]。此外查询是从医师和临床医生建议的一系列主题中选择的以精确模拟参与诊断任务的临床医生的信息需求。2009 年和 2010 年数据集中的图像来自 RSNA 期刊《放射学》和《放射影像学》[ 48 ]是 Goldminer 数据集的一部分。尽管如此2011 年、2012 年和 2013 年数据集中的照片来自发表在开放获取期刊上的研究可通过 PubMed Central 访问。后面的数据集包含的图像范围更广包括图表、图形和其他非临床图像从而带来更多的视觉变化。 为了评估所提出的 SemRank 模型我们使用 2009 年至 2012 年医学检索任务中的 ImageCLEF 集合进行了实验。这些集合由图像和查询组成。每幅图像都有一个文本描述。每个查询都由文本表示和一些示例图像组成。在我们的工作中我们只使用查询的文本表示和图像的文本描述。2009 年和 2010 年的数据集相对较小分别为 74,902 和 77,495 张图像。2011 年和 2012 年的数据集明显更大分别为 230,088 和 306,539 张图像。事实上这些数据集包含更大的图像多样性还包括图表、图形和其他非临床图像 [ 32 ]。此外我们仅限于这些数据集因为我们没有 2013 年数据集即 imageCLEF 医学图像检索任务中的最后一个数据集。图 5分别展示了所用数据集的 3 幅图像及其使用医疗相关特征提取的相关 MDF。我们在此观察到MDF 特征代表医学图像的特定特征但不代表身体部位大脑或病理癌症这是由于旨在查找医学图像的医学文本查询的性质。 图 5. ImageCLEF 医学图像及其提取的 MDF 的一些示例。 7.2. SemRank 模型在图像重排序中的有效性 在本节中我们展示了对 SemRank 模型进行的一组实验。为了实现最佳线性组合我们使用了以下几个值α。α 0 表示仅使用 DMM 分数并且α 1 表示仅使用 BM25 分数。图 6显示了以下情况下的 MAP、P5 和 P10 值 ∈ [ 0 : 1 ]α∈[01]在2009年至2012年的数据集中。 图 6. 根据α使用 2009、2010、2011 和 2012 年 4 个 ImageCLEF 数据集。 根据图 6我们注意到仅使用 DMM 模型检索相关文档的排名结果最差。但是基线模型和 DMM 模型的组合给出了更好的结果。这证明了我们的假设即仅使用 MDF 搜索相关文档是不够的组合模型是一个解决方案。根据 MAP、P5 和 P10 值当 ∈ [ 0.1 : 0.5 ]α∈[0.10.5]在剩下的实验中我们选择设置α 0.3。 7.3. SemRank 模型与文献模型的比较 在本节中我们建议将我们的模型与 BM25、DLMDirichlet 语言模型[ 54 ] 和 Bo1PRFBo1 伪相关反馈[ 55 ] 模型进行比较。表 1根据 P5、P10 和 MAP 指标总结了此比较。所有模型和每个指标的最佳结果以粗体显示。 对于 2009 年和 2010 年的 ImageClef 数据集结果表明我们的 SemRank 模型在 MAP、P5 和 P10 方面表现优于现有模型。对于 2011 年的数据集SemRank 模型在 P5 和 P10 方面比 BM25 和 DLM 模型表现更好但在 MAP 方面不如 Bo1PRF 模型。此外对于 2012 年的数据集Bo1PRF 模型在 MAP、P5 和 P10 方面优于我们的模型。这可以通过这些数据集中包含多种图像表格、形状、图形的非临床图像数量较多来解释并且我们的检索模型特定于医学图像。此外Bo1PRF 模型基于伪相关反馈技术可改善检索结果。 准确率增益如表 2所示。实际上我们确定了改进率并进行了统计t检验 (Wilcoxon) [ 56 ] 来评估结果。当满足以下条件时增益被认为具有统计学意义 0.05页0.05。在本研究中结果后面跟着**当 0.05页0.05。 表 2. SemRank 与其他模型相比的准确率增益。 结果表明大多数数据集都取得了改进。我们的模型在 2009 年数据集上取得了 12% 到 29% 的成绩这比现有模型的性能有了显着提高。与 DLM 和 Bo1PRF 模型相比SemRank 模型显著提高了 2010 年数据集的检索性能。这可能是因为 2009 年和 2010 年的数据集包含临床医生和医师建议的照片这些照片超出了所需的信息。 尽管我们的模型在 2011 年和 2012 年数据集上的表现不如 Bo1PR 模型但与 2012 年数据集的 BM25 模型相比其检索性能提高了 (4 个百分点)与 2011 年数据集的 DLM 模型相比其检索性能提高了 (40 个百分点)。这种变化可能是由于伪相关反馈技术该技术添加了出现在前 k 个检索文档中的前 m 个关键字。但是我们的模型仅使用查询特征而没有使用其他术语并显著提高了 2009 年和 2010 年数据集的检索性能。 我们得出结论与文献模型相比使用我们的 DMM 可以显著改善结果。这验证了我们的假设即我们的 DMM 是一种有前途的提高医学图像检索性能的技术。此外这种改进可能与使用医学外部资源的重要性有关MDF 和 UMLS。 8. 结论和未来工作 本文介绍了一种创新的 SemRank 模型旨在提高医学图像的排名。该模型利用了两个外部语义资源医学相关特征 (MDF) 术语和统一医学语言系统 (UMLS) 元词库。在这个框架内查询和文档表示为 MDF 集并使用 UMLS 本体来计算这些集之间的语义相似性矩阵。这些矩阵是构建每个查询和文档的矩阵表示的基础随后将其集成到卷积神经网络 (CNN) 过程中。生成的输出产生用于在呈现查询时计算文档的新相关性分数的向量。这种创新方法不仅利用了来自外部资源的语义知识还采用了先进的神经网络技术来提高医学图像检索的准确性和有效性。 我们的实验是在 2009 年至 2012 年的 Medical ImageCLEF 集合上进行的。结果表明将医学相关特征 (MDF) 和统一医学语言系统 (UMLS) 集成到深度匹配模型 (DMM) 中时重新排序过程得到了显著改善。此外我们还对我们的模型和各种最先进的方法进行了比较分析。结果显示重新排序过程的准确性显著提高强调了我们提出的方法的有效性。 在我们未来的研究中我们的目标是通过集成涵盖更广泛检索属性的补充过滤器来增强 CNN 模型的功能。此外我们计划通过合并视觉特征来增强 SemRank 模型从而提高图像检索的准确率。 作者贡献 概念化KG方法论KG 和 HA软件KG 和 HA验证HA 和 MT形式分析KG、HA 和 MT资源KG 和 HA数据管理KG 和 HA写作——原始草稿准备KG 和 HA写作——审查和编辑MT 和 HA可视化KG 和 HA资金获取KG 所有作者均已阅读并同意手稿的发布版本。 资金 这项工作由朱夫大学研究生院和科学研究院长资助资助编号为 (DGSSR-2023-02-02065)。 机构审查委员会声明 不适用。 参考文献挖掘 McInnes, B.; Liu, Y.; Pedersen, T.; Melton, G.; Pakhomov, S. Umls::Similarity: Measuring the Relatedness and Similarity of Biomedical Concepts; Association for Computational Linguistics: Stroudsburg, PA, USA, 2013. [Google Scholar]Torjmen-Khemakhem, M.; Gasmi, K. Document/query expansion based on selecting significant concepts for context based retrieval of medical images. J. Biomed. Inform. 2019, 95, 103210. [Google Scholar] [CrossRef] [PubMed]Resnik, P. Semantic similarity in a taxonomy: An information-based measure and its application to problems of ambiguity in natural language. J. Artif. Intell. Res. 1999, 11, 95–130. [Google Scholar] [CrossRef]
