【论文精读】ISBI 2022 - Retinal Vessel Segmentation with Pixel-wise Adaptive Filters

简介: 由于视网膜血管的纹理复杂和成像对比度低,导致精确的视网膜血管分割具有挑战性。以前的方法通常通过级联多个深度网络来细化分割结果

【论文精读】ISBI 2022 - Retinal Vessel Segmentation with Pixel-wise Adaptive Filters


【论文原文】:Retinal Vessel Segmentation with Pixel-wise Adaptive Filters


【作者信息】:Li, Mingxing and Zhou, Shenglong and Chen, Chang and Zhang, Yueyi and Liu, Dong and Xiong, Zhiwei


论文:https://arxiv.org/pdf/2202.01782.pdf
代码:https://github.com/Limingxing00/Retinal-Vessel-Segmentation-ISBI2022


博主关键词:语义分割,语义强化,视网膜血管


推荐论文:无


摘要


由于视网膜血管的纹理复杂和成像对比度低,导致精确的视网膜血管分割具有挑战性。以前的方法通常通过级联多个深度网络来细化分割结果,这既耗时又低效。在本文中,我们提出了两种新的方法来应对这些挑战。首先,我们设计了一个轻量级模块,称为多尺度残差相似性聚集(multi-scale residual similarity gathering, MRSG),以生成逐像素自适应滤波器(point-wise adaptive filters, PA-Filter)。与级联多个深度网络不同,仅有一个PA-Filter层就可以提高分割结果。其次,我们引入了一种响应线索擦除(response cue erasing, RCE)策略来提高分割精度。在DRIVE、CHASE_DB1和STARE数据集上的实验结果表明,我们提出的方法在保持小型结构的同时优于模型效果。


1、简介


语义分割(Semantic Segmentation)是生物医学图像分析的一项基本任务,它可以帮助医生进行诊断,并帮助生物学家分析细胞形态。近年来,卷积神经网络在生物医学图像分割方面表现出了显著的效果。其中,U-Net[1]是应用最广泛的语义分割网络,它由一个用于提取图像特征的编码器和一个用于重构分割结果的解码器组成。U-Net++[2]重新设计了解码器中的跳跃连接,改进了特征融合和表示。


对于视网膜血管的分割,以前的方法大致可以分为三类。第一类设计拓扑感知(topology-aware)损失函数,以帮助网络识别关键结构[3,4]。第二类利用多个深度网络作为细化模块来细化分割结果[5,6,7]。第三类增强了单个网络获得更丰富、更复杂特征图的能力,例如使用注意力机制的特征图[8,9]。本文提出的方法属于第二类。尽管第二类已经具有令人满意的结果,但存在深度网络耗时且效率低下的问题。


为此,我们提出了一种方法,只使用一层像素自适应滤波器(PA-Filters)来细化分割结果,而不是使用深度网络。为了学习PA-Filters,我们提出了一个轻量级模块,称为多尺度残差相似性聚集(MRSG)。对于初始分割图上的每个位置,MRSG生成唯一的PA-Filters。也就是说,与传统的卷积层不同,所设计的PA-Filters不共享权重来更好地捕捉局部区域的纹理。同时,我们提出了一种响应线索擦除(RCE)策略,通过辅助分支实现,以进一步提高分割精度。RCE负责根据主分支的输出擦除输入图像上置信度最高像素的相应位置。我们设计了一个正则化损失来控制双分支的一致性,这使得网络更加鲁棒。在三个具有代表性的视网膜血管分割数据集(即DRIVE、CHASE_DB1和STARE)上进行的实验验证了我们的高效网络实现了最先进的性能。


2、方法


2.1 总览


image.png

6b501a86c812456eb15f81df95c99b89.png


2.2 U-Net骨干网络


image.png


θ是U-Net的参数。在这里,我们将粗略分割图的通道数设置为1,而不是独热码,这便于以下过程。


2.3 多尺度残差相似性聚集


image.png



7c8d341841164095a1fed0465f3a1007.png


image.png


2.4 响应线索擦除


image.png


2.5 总体的损失函数


image.png


3、实验和分析


3.1 数据集


我们在三个主流的视网膜血管分割数据集DRIVE、CHASE_DB1和STARE上评估了所提出的方法。具体而言,DRIVE[14]由40张来自糖尿病视网膜病变筛查项目的565×584大小的视网膜图像组成。按照官方的划分,训练集有20张图像,测试集也有20张图像。CHASE_DB1[15]包含28张大小为999×960的视网膜图像。STARE[16]包含20张尺寸为700×605的视网膜图像。我们遵循[6]中方法的设置,将前20/16个图像划分为训练集,将后8/4个图像分别划分为这两个数据集的测试集。


3.2 实验细节


在实验中,我们使用Pytorch(版本1.1)来实现所提出的方法。NVIDIA GTX 1080Ti用于训练和测试。在训练阶段,我们只使用翻转数据增强。我们使用Adam将损失降至最低,Adam的学习率为0.005,并且在所有数据集上都是固定的。我们采用统一的patch训练策略,将patch大小设置为输入图像大小的0.3倍。因此,DRIVE、CHASE_DB1和STARE数据集的采样patch大小分别为169×175、299×288和210×181。我们在这三个数据集上设置了batch_size为4和最大迭代次数6000。为了平衡性能和计算负担,我们在实验中选择D=5作为PA-Filters。我们根据不同的数据集选择合适的超参数k和λ 。


3.3 定量和定性分析


我们以F1得分(F1)、曲线下面积(AUC)、准确性(ACC)为指标,通过开源进行评估[8]。表1总结了DRIVE、CHASE_DB1和STARE数据集上每种最先进(SOTA)方法的参数和指标。我们可以观察到,所提出的方法在所有三个数据集上都具有最好的F1分数,超过了其他SOTA方法。尽管AG-Net在CHASE DB1数据集上具有最好的AUC,但所提出的方法的参数比AG-Net小4倍,这表明了所提出方法的紧凑性。我们还在图3中显示了三个数据集的分割结果。与其他SOTA方法相比,我们的分割结果具有更详细的纹理和完整的结构。


76c616899bc04cfead7de712163f6872.png

6f71cf1e0e404da5b0091075e41dbaa3.png


3.4 消融实验


为了验证所提出方法中每个组件的贡献,我们进行了消融研究。如表2所示,我们评估了PA-Filter和RCE策略的有效性。当我们选择大小为5×5的PA-Filters时,网络的参数仅增加0.012MB,但F1分数增加3.1%。对于PA-Filters,我们在没有RCE策略的情况下评估不同内核大小的影响。如表3所示,以需要更大的GPU内存为代价,更大的D实现了更好的性能。尽管D=7/9具有更好的性能,但它超过了CHASE_DB1上固定设置(第3.2节)的内存。为了一致性,我们的实验是基于D = 5 。


a3497bcf45ad4a33a27a9c17f8badada.png

48f4be731df74df2857d275405e16575.png


3.5 我们方法的可解释性


在训练阶段,我们没有对PA-Filters的生成进行监督。如图4所示,PA-Filters在中心像素处学习隐含地重建视网膜血管的纹理,而不是局部分割结果。以图4第一列的局部patch为例,从中心点学习的PA-Filters与条纹相似。请注意,中心点位于视网膜血管的边界上。所学习的PA滤波器隐式学习纹理,这使得粗分割图关注血管边界。因此,如图5所示,PA-Filters可以仅使用一层来细化粗略分割结果。


789ca6d1779f40928720deba3d15b3ce.png

5106274f2a1f445fa2fd9d4f1dff03dd.png


4、总结


在本文中,我们提出了用于视网膜血管分割的PA-Filters和RCE策略。具体来说,我们首先利用U-Net主干来获得粗略的分割图,在此基础上生成PA-Filters。我们设计了一个MRSG模块来生成用于细化的PA-Filters。此外,还提出了一种RCE策略,以进一步提高性能。在三个具有代表性的视网膜血管数据集(DRIVE、CHASE_DB1和STARE)上的实验结果证明了所提出方法的优越性。


【论文速递 | 精选】


fcc8fa9f87404652beb9e08a0ac9652d.png


论坛地址https://bbs.csdn.net/forums/paper


最近工作

目录
相关文章
使用CLIP和LLM构建多模态RAG系统
在本文中我们将探讨使用开源大型语言多模态模型(Large Language Multi-Modal)构建检索增强生成(RAG)系统。本文的重点是在不依赖LangChain或LLlama index的情况下实现这一目标,这样可以避免更多的框架依赖。
738 0
YOLOv11改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含二次独家创新
YOLOv11改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含二次独家创新
117 0
拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。
拍立淘API是基于图像识别技术的服务接口,支持淘宝、1688和义乌购平台。用户上传图片后,系统能快速匹配相似商品,提供精准搜索结果,并根据用户历史推荐个性化商品,简化购物流程。开发者需注册账号并获取API Key,授权权限后调用接口,返回商品详细信息如ID、标题、价格等。使用时需遵守频率限制,确保图片质量,保障数据安全。
基于深度学习的图像识别技术在自动驾驶中的应用研究####
本文旨在探讨深度学习技术,特别是卷积神经网络(CNN)在自动驾驶车辆图像识别领域的应用与进展。通过分析当前自动驾驶技术面临的挑战,详细介绍了深度学习模型如何提升环境感知能力,重点阐述了数据预处理、网络架构设计、训练策略及优化方法,并展望了未来发展趋势。 ####
322 6
基于深度学习的图像识别技术研究进展###
本文旨在探讨深度学习在图像识别领域的最新研究进展,重点分析卷积神经网络(CNN)的技术创新、优化策略及其在实际应用中的成效。通过综述当前主流算法结构、损失函数设计及数据集增强技巧,本文揭示了提升模型性能的关键因素,并展望了未来发展趋势。尽管未直接涉及传统摘要中的研究背景、方法、结果与结论等要素,但通过对关键技术点的深度剖析,为读者提供了对领域现状与前沿动态的全面理解。 ###
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
本文介绍了如何在PyCharm专业版中连接远程服务器并配置远程Python环境解释器,以便在服务器上运行代码。
1627 0
IDE之pycharm:专业版本连接远程服务器代码,并配置远程python环境解释器(亲测OK)。
深入理解操作系统之进程调度算法的设计与实现
【5月更文挑战第27天】 在多任务处理的现代操作系统中,进程调度算法是核心组件之一,负责决定哪个进程将获得CPU资源。本文不仅探讨了几种经典的进程调度算法,包括先来先服务(FCFS)、短作业优先(SJF)和轮转调度(RR),还分析了各自的优势、劣势及适用场景。此外,文章将深入讨论如何根据系统需求设计自定义调度算法,并提供了基于伪代码的实现示例。最后,通过模拟实验比较了这些算法的性能,以指导读者在实际操作系统设计时的选择与优化。
|
11月前
|
Flutter快速实现自定义折线图,支持数据改变过渡动画
Flutter快速实现自定义折线图,支持数据改变过渡动画
245 4
Flutter快速实现自定义折线图,支持数据改变过渡动画
AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等