使用训练分类网络预处理多分辨率图像

简介: 说明如何准备用于读取和预处理可能不适合内存的多分辨率全玻片图像 (WSI) 的数据存储。肿瘤分类的深度学习方法依赖于数字病理学,其中整个组织切片被成像和数字化。生成的 WSI 具有高分辨率,大约为 200,000 x 100,000 像素。WSI 通常以多分辨率格式存储,以促进图像的高效显示、导航和处理。读取和处理WSI数据。这些对象有助于使用多个分辨率级别,并且不需要将图像加载到核心内存中。此示例演示如何使用较低分辨率的图像数据从较精细的级别有效地准备数据。可以使用处理后的数据来训练分类深度学习网络。

​一、前言
此示例说明如何准备用于读取和预处理可能不适合内存的多分辨率全玻片图像 (WSI) 的数据存储。
肿瘤分类的深度学习方法依赖于数字病理学,其中整个组织切片被成像和数字化。生成的 WSI 具有高分辨率,大约为 200,000 x 100,000 像素。WSI 通常以多分辨率格式存储,以促进图像的高效显示、导航和处理。
读取和处理WSI数据。这些对象有助于使用多个分辨率级别,并且不需要将图像加载到核心内存中。此示例演示如何使用较低分辨率的图像数据从较精细的级别有效地准备数据。可以使用处理后的数据来训练分类深度学习网络。
二、下载Camelyon16数据集
此示例使用 Camelyon16的WSI。该数据包含来自两个独立来源的总共400个淋巴结WSI,分为270张训练图像和130张测试图像。WSI以剥离格式存储为TIF文件,具有11级金字塔结构。
训练数据集由正常淋巴结的 159 个 WSI 和肿瘤和健康组织的淋巴结的 111 个 WSI 组成。病变边界的地面真实坐标伴随肿瘤图像。
指定为数据的目标位置。数据集的大小约为 451 GB。
要下载训练数据,请访问Camelyon17网站,然后单击第一个“CAMELYON16数据集”链接。
三、创建对象以管理 WSI 映像
获取正常和肿瘤训练图像的文件名。正常组织的训练图像之一“normal_144.tif”缺少推断图像物理范围所需的重要元数据。排除此文件。
创建两个块图像对象数组,一个用于正常图像,一个用于肿瘤图像。每个对象都指向磁盘上的相应映像文件。
为了更好地了解训练数据,请显示正常组织的阻塞图像。粗分辨率级别的图像足够小,可以放入内存中,因此您可以使用帮助程序函数直观地检查图像浏览器应用程序中的数据。此帮助程序函数作为支持文件附加到示例。请注意,图像包含大量空白区域,并且组织仅占据图像的一小部分。这些特征是WSI的典型特征。
更深入地探索单曲。选择要可视化的肿瘤样本图像,然后使用 bigimageshow 功能显示图像。该功能根据屏幕尺寸和当前缩放级别自动选择分辨率级别。
1.png
放大至感兴趣区域。分辨率级别会自动增加以显示更多细节。
2.png
四、对齐空间范围
使用多分辨率影像的多个分辨率级别时,每个级别的空间范围必须匹配。如果空间范围对齐,则可以在粗分辨率级别提取掩膜等信息,并将其正确应用于更精细分辨率级别的匹配位置。
在每个分辨率水平上检查样品肿瘤图像的尺寸。级别 1 具有最多的像素,并且是最好的分辨率级别。级别 10 具有最少的像素,并且是最粗糙的分辨率级别。纵横比不一致,这通常表示关卡不跨越相同的世界区域。
3.png
五、创建组织面膜
典型WSI的大部分由背景像素组成。要有效地处理 WSI 数据,您可以从粗分辨率级别创建感兴趣区域 (ROI) 掩码,然后将更精细分辨率级别的计算限制为 ROI 内的区域。
选择掩码级别时,请考虑以下两个因素:
此示例使用粗分辨率级别为正常组织的训练图像创建遮罩。
背景均匀浅。您可以通过简单的阈值操作分割组织。使用函数以逐块方式将阈值应用于所有正常训练图像。通过指定名称-值参数将结果保存到磁盘。
组织面膜只有一个级别,并且足够小以适合记忆。使用帮助程序功能在图像浏览器应用程序中显示组织蒙版。
4.png
根据概述,选择一个以进一步评估组织面膜的准确性。显示使用大图像功能。使用显示标签功能将蒙版显示为叠加层。使用名称-值参数设置每个像素的透明度。对于 ROI 内的像素,标签是完全透明的。对于 ROI 之外的像素,标签部分透明,并以绿色色调显示。
5.png
放大以检查感兴趣区域。
6.png
六、创建肿瘤掩膜
在肿瘤图像中,ROI由肿瘤组织组成。肿瘤组织的颜色与健康组织的颜色相似,因此不能使用颜色分割技术。相反,通过使用伴随肿瘤图像的病变边界的地面真实坐标来创建ROI。这些区域是手绘的,最精细。
显示肿瘤边界.为了更好地了解肿瘤训练数据,请阅读真实边界坐标,并使用辅助函数将坐标显示为手绘 ROI。此帮助程序函数作为支持文件附加到示例。请注意,正常区域(用绿色边界显示)可能发生在肿瘤区域内。
7.png

目录
相关文章
|
8月前
|
机器学习/深度学习 人工智能 算法
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
本文以一个经典的PyTorch手写数字识别代码示例为引子,深入剖析了简洁代码背后隐藏的深度神经网络(DNN)训练全过程。
1258 56
|
7月前
|
机器学习/深度学习 算法 调度
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
14种智能算法优化BP神经网络(14种方法)实现数据预测分类研究(Matlab代码实现)
522 0
|
12月前
|
机器学习/深度学习 存储 算法
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
反向传播算法虽是深度学习基石,但面临内存消耗大和并行扩展受限的问题。近期,牛津大学等机构提出NoProp方法,通过扩散模型概念,将训练重塑为分层去噪任务,无需全局前向或反向传播。NoProp包含三种变体(DT、CT、FM),具备低内存占用与高效训练优势,在CIFAR-10等数据集上达到与传统方法相当的性能。其层间解耦特性支持分布式并行训练,为无梯度深度学习提供了新方向。
657 1
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
|
6月前
|
机器学习/深度学习 数据可视化 网络架构
PINN训练新思路:把初始条件和边界约束嵌入网络架构,解决多目标优化难题
PINNs训练难因多目标优化易失衡。通过设计硬约束网络架构,将初始与边界条件内嵌于模型输出,可自动满足约束,仅需优化方程残差,简化训练过程,提升稳定性与精度,适用于气候、生物医学等高要求仿真场景。
687 4
PINN训练新思路:把初始条件和边界约束嵌入网络架构,解决多目标优化难题
|
8月前
|
机器学习/深度学习 数据采集 运维
匹配网络处理不平衡数据集的6种优化策略:有效提升分类准确率
匹配网络是一种基于度量的元学习方法,通过计算查询样本与支持集样本的相似性实现分类。其核心依赖距离度量函数(如余弦相似度),并引入注意力机制对特征维度加权,提升对关键特征的关注能力,尤其在处理复杂或噪声数据时表现出更强的泛化性。
419 6
匹配网络处理不平衡数据集的6种优化策略:有效提升分类准确率
|
6月前
|
机器学习/深度学习 数据采集 存储
概率神经网络的分类预测--基于PNN的变压器故障诊断(Matlab代码实现)
概率神经网络的分类预测--基于PNN的变压器故障诊断(Matlab代码实现)
938 0
|
7月前
|
安全 网络性能优化 网络虚拟化
网络交换机分类与功能解析
接入交换机(ASW)连接终端设备,提供高密度端口与基础安全策略;二层交换机(LSW)基于MAC地址转发数据,构成局域网基础;汇聚交换机(DSW)聚合流量并实施VLAN路由、QoS等高级策略;核心交换机(CSW)作为网络骨干,具备高性能、高可靠性的高速转发能力;中间交换机(ISW)可指汇聚层设备或刀片服务器内交换模块。典型流量路径为:终端→ASW→DSW/ISW→CSW,分层架构提升网络扩展性与管理效率。(238字)
1690 0
|
11月前
|
算法 PyTorch 算法框架/工具
PyTorch 实现FCN网络用于图像语义分割
本文详细讲解了在昇腾平台上使用PyTorch实现FCN(Fully Convolutional Networks)网络在VOC2012数据集上的训练过程。内容涵盖FCN的创新点分析、网络架构解析、代码实现以及端到端训练流程。重点包括全卷积结构替换全连接层、多尺度特征融合、跳跃连接和反卷积操作等技术细节。通过定义VOCSegDataset类处理数据集,构建FCN8s模型并完成训练与测试。实验结果展示了模型在图像分割任务中的应用效果,同时提供了内存使用优化的参考。
|
11月前
|
存储 数据管理 网络虚拟化
特殊网络类型分类
本文介绍了网络技术中的关键概念,包括虚拟局域网(VLAN)、存储区域网络(SAN)、网络桥接、接入网以及按拓扑结构和交换方式分类的网络类型。VLAN通过逻辑分隔提高性能与安全性;SAN提供高性能的数据存储解决方案;网络桥接实现不同网络间的互联互通;接入网解决“最后一千米”的连接问题。此外,文章详细对比了总线型、星型、树型、环型和网状型等网络拓扑结构的特点,并分析了电路交换、报文交换和分组交换的优缺点,为网络设计与应用提供了全面参考。
456 8
|
机器学习/深度学习 文件存储 异构计算
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
1332 18
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛

热门文章

最新文章