怎么做网站动图,网站策划制作公司,一般网站建设电话,做外贸用什么服务网站代码以及视频讲解
本文所涉及所有资源均在传知代码平台可获取
引言
细胞核分割和分类在医学研究和临床诊断中具有重要意义。精准的细胞核分割能够帮助医生更好地识别和分析细胞核的形态学特征#xff0c;从而辅助疾病诊断、癌症检测以及药物研发。HoverNet是一种基于深度学…代码以及视频讲解
本文所涉及所有资源均在传知代码平台可获取
引言
细胞核分割和分类在医学研究和临床诊断中具有重要意义。精准的细胞核分割能够帮助医生更好地识别和分析细胞核的形态学特征从而辅助疾病诊断、癌症检测以及药物研发。HoverNet是一种基于深度学习的先进网络模型能够同时执行细胞核分割与分类任务。除了分割和分类提取细胞核的特征如面积、半径和形状等可以进一步分析细胞核的特性这在肿瘤研究、病理分析等领域具有现实意义。
本文将实现基于Pytorch框架实现HoverNet细胞核的分割和分类并且基于此自行完成了对细胞核特征提取用于医学上的相关分析。同时也可以用于计算病理学相关文章的可解释性分析。
本文能够实现从细胞核分割和分类到提取细胞核相关特征全自动化。以及最后分析了提取到的细胞核特征可以有哪些应用主要是进行了举例说明。
效果展示 HoverNet概述
HoVer-Net是一种精心设计的多分支深度学习网络架构专为处理复杂的多组织显微图像中的细胞核实例分割与精确分类任务而开发。该网络通过创新的策略不仅有效解决了细胞核在密集聚集区域难以准确区分的问题还实现了对每个独立细胞核类型的细致分类。 此外HoVer-Net还引入了专门的上采样分支这一设计旨在对每个成功分割出的细胞核实例进行进一步的核类型分类。这一分支利用高级语义信息结合精心设计的分类策略能够准确判断每个细胞核的所属类型为医学研究提供了宝贵的细胞水平信息。 HoverNet原理分析
整体网络框架
上图中展示了整体的网络框架。HoverNet使用了一个深度神经网络来提取图像中的重要特征。这个网络是基于一个叫做“预激活残差网络”Preact-ResNet50的模型但为了保留更多的细节信息对这个模型做了一些调整比如减少了图像缩小的次数。然后网络通过三个不同的分支来处理图像
核像素分支NP分支判断每个像素是否属于核细胞核还是背景。HoVer分支计算核像素到其中心的水平和垂直距离。这有助于将紧挨在一起的核分开。核分类分支NC分支根据前两个分支的信息进一步确定每个核的类型。
这样设计整体网络结构能够提高模型性能和效率主要是
上采样分支的架构设计 每个上采样分支都是通过一系列的上采样操作和“密集连接单元”来构建的。你可以把“密集连接单元”想象成一组很小且廉价的计算模块堆叠多个这样的模块能够使模型获得更大的视野范围即感受野并且所需的计算参数更少。这种方式相比直接使用大卷积核的单一操作更高效地传播梯度帮助模型更好地训练如图中Upsample模块。跳跃连接与特征融合 在模型中通过跳跃连接类似于在建筑中搭桥梁将编码器负责特征提取的部分中的信息传递到上采样部分。这里模型使用了“加法”而不是“拼接”的方式来融合这些信息。这种方法特别有助于图像分割任务因为它能更精确地描绘出物体的边界。有效卷积与边界预测 在上采样过程中使用了“有效卷积”来确保边界的预测结果不会出现问题。由于这种卷积操作输出图像的尺寸会比输入图像小一些。共享编码器 与其为每个任务比如分割和分类创建单独的网络不如使用一个共享的编码器特征提取部分这样可以同时训练分割和分类任务的模型。这不仅减少了训练时间还能利用不同任务间的共享信息提升整体性能。根据标签调整模型 模型可以根据是否有核的分类标签来调整其工作方式。如果没有分类标签模型只会执行分割任务如果有分类标签则会同时进行分割和分类。
这个方法确保不仅能准确分割出每个核还能正确分类它们的类型。在这里HoVer分支是这篇文章能够取得非常好的重要原因之一。
实例分割原理
HoVer分支分支使用水平和垂直距离来帮助分开紧挨在一起的细胞核其背后的原理是利用了这些距离信息来识别和分离相邻的核。如下图
具体来说HoVer分支会计算每个核像素到其质心核的中心点的水平和垂直距离。这些距离信息有助于在以下几个方面起作用
识别边界当两个或多个核紧挨在一起时常常会导致它们的边界变得模糊难以区分。通过计算每个像素到质心的水平和垂直距离可以更清晰地确定哪些像素更接近哪个质心。这有助于识别核的实际边界。
分离相邻核对于相邻的核HoVer分支生成的距离图会在这些核的交界处表现出显著的变化。因为每个核的质心不同越靠近核质心的像素其水平和垂直距离会变得更小而靠近核边界的像素这些距离值会变得不一致或剧烈变化。因此利用这些距离信息可以有效地分离出紧挨在一起的核。
避免错误合并传统的分割方法可能会错误地将相邻的核合并成一个整体而HoVer分支通过分析这些距离确保每个核都能被正确地分离和识别而不会被错误地合并。 可以这么通俗的解释假设你有两个紧挨在一起的圆形气球每个气球代表一个细胞核。你站在气球的中心点然后开始测量从你到每个气球表面上不同点的水平和垂直距离。你会发现越靠近你的位置这些距离越小越远的地方距离越大。 如果两个气球挤得很近两个气球之间的距离会突然发生变化因为你从一个气球的中心移动到了另一个气球的区域。HoVer分支做的事情就是检测出这些突然变化的地方并用它来判断这是两个不同的气球或细胞核而不是一个大气球或核。 所以通过分析每个像素到其中心的水平和垂直距离HoVer分支就能确定哪些像素属于哪个细胞核从而把两个紧挨在一起的细胞核正确地分开不会把它们混为一谈。 HoverNet评估结果
不同数据集得到的分割和分类结果。
不同数据集不同模型评估指标对比。
复现过程
源码获取 可以通过这个链接从github上下载https://github.com/vqdang/hover_net。但是从这里下载的链接并没有提供模型的预训练权重需要自己寻找。所以建议可以直接下载我提供的附件。附件如图
那么在这个附件中是有预训练权重的。
2.环境配置
创建环境
conda env create -f environment.yml利用conda这一开源的、强大的包与环境管理工具可以方便地设置、运行及更新软件包及其依赖项。为了创建一个新的Python环境可以执行conda env create命令并借助-f选项指定一个名为environment.yml的配置文件。这个文件详细列出了新环境所需的所有软件包及其特定版本从而确保环境的一致性和可重复性。从下图可以看到虽然创建以基本的HoverNet环境但是没有pytorch。
所以需要自行在创建的环境中安装一个基于cuda的pytorch。
激活环境
conda activate hovernet安装pytorch
pip install torch1.6.0cu118 torchvision0.15.1cu118 torchaudio1.6.1cu118 -f https://download.pytorch.org/whl/torch_stable.html这里pytorch的安装可以参考官网根据自己的显卡版本安装。
代码库结构 下面是这个项目代码库的主要目录和文件的详细解释
代码库结构在附件中的这个文件夹下ExtractCellularFeatureFrompng
dataloader包含数据加载器和数据增强流程的代码。数据加载器负责从存储介质中读取数据并将其组织成适合模型训练和推理的格式。models包含模型定义、主要运行步骤和超参数设置。这是定义神经网络结构、选择损失函数、优化器等核心组件的地方。dataset主要用户存放输入图像和输出的文件包括分割后的图片细胞轮廓等。run_utils定义训练/验证循环和回调函数。训练循环是模型学习数据的过程而回调函数可以在训练过程中的特定时刻执行额外的操作如保存模型、打印日志等。run_tile.sh用于进行分割组织病理学图像中的肿瘤区域的patch。run_wis.sh用于进行分割整个组织病理学图像的细胞。cell_seg_feature.py提取分割好的细胞核特征脚本。ExtractCellularFeatureFromPng.sh从分割分类到提取特征完整的脚本。
提取的细胞核特征种类
特征种类相关描述面积area细胞占据的二维空间大小是评估细胞大小的基本参数。边界粗糙度bbox area描述细胞边缘的不规则程度可以通过计算边缘上相邻点之间距离的标准差来估算。凸包面积convex area能包含细胞所有点的最小凸多边形的面积用于评估细胞的“外凸”程度。离心率eccentricity描述细胞形状相对于圆形的拉长程度通常定义为细胞主轴与短轴之比。等效直径equivalent diameter具有与细胞相同面积的圆的直径是另一种衡量细胞大小的参数。欧拉数euler number拓扑学中的一个概念对于二维形状它等于连通区域的数量减去孔洞的数量。在细胞形态学中可以用来描述细胞内部结构的复杂性。圆形度extent也称为圆度或形状因子是细胞面积与其周长平方之比的四倍π的倒数。它接近1时表示细胞接近圆形。费雷特filler area在多个方向上测量的细胞最大和最小宽度提供了细胞形状在不同方向上的信息。惯性矩inertia tensor eigvals x描述细胞形状关于其质心旋转的难易程度包括主轴惯性矩和次轴惯性矩可用于进一步分析细胞的取向和形状稳定性。x方向惯性矩inertia tensor eigvals y描述细胞形状关于其质心旋转的难易程度包括主轴惯性矩和次轴惯性矩可用于进一步分析细胞的取向和形状稳定性。y方向长轴长度major axis length细胞形状中最长的直径。短轴长度Minor Axis Length细胞形状中最短的直径。位置orientation与区域具有相同二阶矩的椭圆的长轴与x轴之间的角度周长perimeter围绕细胞边缘的长度反映了细胞的尺寸和边界的复杂性。固实度Solidity细胞面积与其凸包面积之比反映了细胞边界的凹凸程度。
在细胞生物学和医学成像领域细胞形态的分析对于理解细胞的生理状态、病理变化以及细胞间的相互作用至关重要。为了精确描述和量化细胞形态科学家们开发了多种形状描述符也称为形态学参数。这些描述符可以捕获细胞形态的关键特征如大小、形状、边缘复杂度等。以下是15个常用的定量测量的形状描述符的概述它们被广泛用于评估细胞形态。 提取细胞核特征过程 def CalCellFeature(input_path,output_path):json_path glob.glob(input_path /*.json)for json_file_path in json_path:cell_feature_data []cell_type_list []type_prob_list []cell_centroid_list []print(running:,json_file_path)G_name os.path.basename(json_file_path)[:-5]with open(json_file_path, r) as file:json_data json.load(file)for key, value in json_data[nuc].items():contour_data value[contour]cell_type value[type]type_prob value[type_prob]cell_centroid value[centroid]cell_type_list.append(cell_type)type_prob_list.append(type_prob)cell_centroid_list.append(cell_centroid)# 计算细胞轮廓图像的尺寸contour_width max(point[0] for point in contour_data) 1contour_height max(point[1] for point in contour_data) 1# 创建与细胞轮廓contour相同形状的二值图像contour_image np.zeros((contour_height, contour_width), dtypenp.uint8)for point in contour_data:contour_image[point[1], point[0]] 1# 使用measure.regionprops函数计算区域属性regions measure.regionprops(contour_image)# 遍历每个区域
........代码执行过程 进入到ExtractCellularFeatureFrompng文件夹后执行
sh ExtractCellularFeatureFrompng.shLinux环境下在Windows中不支持shell当然也可以自行查看如何在Windows中使用shell。但是这个代码最好在有GPU的环境中运行。
结果文件
图中的input_png是输入图片可以更改为自己的数据1是HoverNet分割产生的结果文件包括分割图和细胞轮廓。2是细胞核特征提取产生的结果文件。里面包含了上述表格中的15个特征。产生的分割图和特征如下
细胞核特征应用说明
首先分析了提取到的面积area特征它是细胞占据的二维空间大小是评估细胞大小的基本参数。 将不同细胞的种类进行分组后得到的比较图如下 由图可知肿瘤细胞在面积上或者说大小上与其他类型的细胞存在明显差异也即是肿瘤细胞更大。这能够说明虽然单纯的肿瘤细胞面积大小并不能直接确定肿瘤的恶性程度但通常来说恶性程度较高的肿瘤细胞往往具有更大的面积和更强的侵袭性。 同时了解肿瘤细胞的形态和大小特征有助于医生制定更合适的治疗方案。如果肿瘤细胞面积较大且恶性程度高可能需要采用更积极的治疗措施如手术切除、化疗、放疗等。
其次分析了提取到的凸包面积在不同类型细胞中的差异能包含细胞所有点的最小凸多边形的面积用于评估细胞的“外凸”程度。
由图可知肿瘤细胞的凸包面积比其他类型的细胞要大这说明肿瘤细胞的增殖活性增强肿瘤细胞通常具有比正常细胞更快的增殖速度。凸面积的增大可能反映了肿瘤细胞在增殖过程中所占据的更大空间这是其快速增殖的一个直接表现。细胞扩张快随着肿瘤细胞的分裂和增殖它们会不断扩张并占据更多的组织空间从而导致凸面积的增大。
接着分析了提取到的等效直径equivalent diameter在不同类型细胞中的差异具有与细胞相同面积的圆的直径是另一种衡量细胞大小的参数。
很明显肿瘤细胞的该值也是比较大的等效直径的增大可能是肿瘤细胞异型性的一种表现反映了它们在生长过程中形态上的显著变化。其中异型性是指它们与正常细胞在形态和结构上的差异程度。
最后分析了肿瘤细胞和淋巴细胞的数量差异
在该柱状图中淋巴细胞的数量明显多于肿瘤细胞这说明淋巴细胞是免疫系统的重要组成部分负责识别和清除外来病原体及异常细胞。当体内存在肿瘤细胞时免疫系统会启动免疫应答激活淋巴细胞以攻击和清除这些异常细胞。因此淋巴细胞数量增多可能表明机体的免疫反应正在积极应对肿瘤细胞。 注上述图像123来自我们运行后产生的test1.csv文件中的数据图像4来自test2.csv产生的数据。所有图像的画法均来自该网站https://hiplot.com.cn/cloud-tool/drawing-tool/list 参考文献
1.Graham S, Vu Q D, Raza S E A, et al. Hover-net: Simultaneous segmentation and classification of nuclei in multi-tissue histology images[J]. Medical image analysis, 2019, 58: 101563. 2.Lu W, Toss M, Dawood M, et al. SlideGraph: Whole slide image level graphs to predict HER2 status in breast cancer[J]. Medical Image Analysis, 2022, 80: 102486.
总结
HoverNet不仅提高了分割的精度还通过多任务学习减少了模型的计算成本。这种高效的设计使HoverNet能够在各种细胞图像数据集上表现出色特别是在复杂背景下的细胞核识别和分类中展现出优越的鲁棒性和准确性。
此外HoverNet的多任务架构允许它同时执行分割和分类操作这一特点极大地简化了流程使得在实际应用中能够更快速地获得全面的分析结果。尤其在临床诊断和病理分析中这种高效的处理方式可以显著缩短分析时间提升医疗效率。
在细胞特征提取方面通过从分割后的细胞核中提取面积、半径、形状因子等几何特征能够获得更加精细的细胞核信息。这些特征不仅可以用于肿瘤检测、细胞形态学分析还能为进一步的生物学研究提供可靠的基础数据。例如细胞核的面积和形状特征可以用来区分不同类型的癌细胞帮助医生做出更准确的诊断。
提取这些特征进行了相关应用的演示可以产生很多图片不仅可以丰富论文内容还可以为后续的机器学习或统计分析提供更丰富的数据支持使得研究人员能够在更大范围内探讨细胞形态与疾病之间的关系。这种方法的优势在于它将复杂的图像处理转化为更易理解和分析的数值数据降低了进一步研究和应用的门槛。
备注
附件下载完成后首先看ExtractCellularFeature.md其次找到ExtractCellularFeatureFromPng.sh这个文件该文档集成度非常高只要环境配置没有问题可以直接实现分割分类和细胞核特征提取。要了解详细过程请参考readme.md。
源码下载
