【小样本图像分割-3】HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet

本文涉及的产品
文件存储 NAS,50GB 3个月
简介: 本文介绍了一种名为HyperSegNAS的新方法,该方法结合了一次性神经架构搜索(NAS)与3D医学图像分割,旨在解决传统NAS方法在3D医学图像分割中计算成本高、搜索时间长的问题。HyperSegNAS通过引入HyperNet来优化超级网络的训练,能够在保持高性能的同时,快速找到适合不同计算约束条件的最优网络架构。该方法在医疗分割十项全能(MSD)挑战的多个任务中展现了卓越的性能,特别是在胰腺数据集上的表现尤为突出。

【小样本图像分割-3】HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet

image-20240817152943882

今天分享的文章来自CVPR2022,是用作NAS(神经网络结构搜索)来做3D医学图像分割的一篇论文,这边论文用的NAS技术在之前火过一段时间,但是从我所知实际使用的地方不多,相对比较冷门,并且神经网络搜索相对而言需要大量的资源,成本也比较高。神经网络结构搜索(NAS)通过利用机器学习算法和搜索策略,自动发现更加高效和优化的神经网络结构。这一过程涉及对神经网络的拓扑结构、层数、节点连接方式等进行搜索和优化,以获得在给定任务上性能最佳的神经网络模型。NAS能够显著减少人工设计神经网络所需的时间和精力,提高模型设计的效率和效果。

文章的地址:[2112.10652] HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet (arxiv.org)

代码的地址:没有提供对应的代码

摘要

由于物体(如器官或肿瘤)的形状和模式的高度可变性,3d医学图像的语义分割是一项具有挑战性的任务。鉴于最近深度学习在医学图像分割方面的成功,神经架构搜索(NAS)被引入来寻找高性能的3D分割网络架构。然而,由于三维数据的大量计算需求和架构搜索的离散优化特性,以往的NAS方法需要较长的搜索时间或必要的连续松弛,并且通常会导致次优网络架构。虽然一次性NAS可以潜在地解决这些缺点,但在广泛的多尺度多路径搜索空间中,其在分割领域的应用尚未得到很好的研究。为了实现医学图像分割的一次性NAS,我们的方法HyperSegNAS引入了一个HyperNet,通过整合架构拓扑信息来辅助超级网络训练。这样的超级网络可以在超级网络训练完成后移除,并且在架构搜索期间不会引入开销。我们表明,与以前最先进的(SOTA)分割网络相比,hypersegas产生了更好的性能和更直观的架构;此外,它还能在不同的计算约束条件下快速准确地找到好的候选体系结构。我们的方法在来自医疗分割十项全能(MSD)挑战的公共数据集上进行了评估,并达到了SOTA性能。

作者提出的方法

首先这项研究的背景意义是:自动医学图像分割是一个活跃的研究领域,在解剖学分析和疾病诊断等方面有着广泛的临床应用。尽管深度学习方法取得了进步,但医学图像分割仍然具有挑战性。为了解决目标对象的大可变性,有限的数据样本数量,以及高维和高分辨率的性质,在3D图像中,研究人员花费了大量的精力来设计各种计算设置下的高效神经结构。

从DiNTS [16] (1a)和我们提出的基于MSD[1]中胰腺数据集的HyperSegNAS (1b)中找到的架构。在类似的计算成本下,HyperSegNAS的架构使用更多的跳过连接,并确保传播多尺度的特征以进行预测。我们的体系结构的性能明显优于DiNTS,如1c所示。简单来说,通过作者提出的策略来对网络的连接进行搜索建立模型,可以让模型在精度不变的情况下,减少模型的大小,找到足够经济的网络架构的形式。

image-20240817152218238

作者在这篇文章的主要贡献如下:

  • 提出HyperSegNAS,一种一次性NAS方法,用于寻找最佳的3D分割架构。HyperSegNAS可以搜索精确适应不同计算约束的高效架构。
  • 提出了一种称为MetaAssistant Network (MAN)的超网络结构,通过将相关元信息合并到NAS中来解决分段网络的大搜索空间;MAN可以在训练后移除,并且不会增加搜索和重新训练的计算开销。
  • 在MSD的多任务中,与DiNTS和新的SOTA性能相比,在低计算和高计算架构上都取得了更好的结果

这篇文章中提到的网络的主要架构如下。HyperSegNet在分段搜索空间之上引入了一个额外的HyperNet H。在训练超级网络时,H引入了额外的信道加权,这取决于输入图像和采样结构。2a中圈出的块在2b中展开,以详细查看特征重加权过程。引入退火过程,将ωa,I Hθ逐渐替换为ωfixed,并将H从推理过程中去除。因此,可以实现效率和更好的估计性能。

image-20240817152516974

本方法的一些效果

作者和同样是NAS的方法DiNTS进行了对比,对比的结果如下。下面的表格是基于胰腺数据集的五倍交叉验证,在不同计算约束下发现的架构的性能比较。

image-20240817152649817

可视化的结果如下,ωa,I Hθ变化的可视化取决于不同的图像或结构输入。我们使用5GB和7GB架构作为6b中的ai和aj。结果是基于步长为16的滑动窗口平均进行聚合的。

image-20240817152749875

结论

在这项工作中,我们提出了HyperSegNAS,一种用于医学图像分割的新型NAS算法。HyperSegNAS通过训练过的超级网络来评估它们的性能,从而找到性能良好的分割架构。为了解决由于大而无序的分割搜索空间而导致的训练过程的复杂性,我们提出使用称为元助理网络(MAN)的超网络来改进学习。MAN将部署体系结构和输入图像的高级信息整合到输出通道权重中,从而修改推理过程以获得更好的性能。为了在搜索阶段进行公平评估,HyperSegNAS然后通过退火过程去除MAN。我们进行了大量的实验,表明我们的方法在匹配约束的精度和分割性能方面都能有效地适应不同的计算约束。具体来说,我们的低计算架构在胰腺数据集上显著优于DiNTS的架构。我们还在MSD中的五个代表性任务上测试了我们的大计算架构,并分别达到了SOTA性能。我们对体系结构性能评估的分析表明,包含跳跃连接对于找到性能良好的体系结构是至关重要的,这与手工体系结构设计历史的直觉一致,并且在以前的方法中没有反映出来。

相关实践学习
函数计算部署PuLID for FLUX人像写真实现智能换颜效果
只需一张图片,生成程序员专属写真!本次实验在函数计算中内置PuLID for FLUX,您可以通过函数计算+Serverless应用中心一键部署Flux模型,快速体验超写实图像生成的魅力。
目录
相关文章
|
11月前
|
机器学习/深度学习 PyTorch 算法框架/工具
目标检测实战(一):CIFAR10结合神经网络加载、训练、测试完整步骤
这篇文章介绍了如何使用PyTorch框架,结合CIFAR-10数据集,通过定义神经网络、损失函数和优化器,进行模型的训练和测试。
507 2
目标检测实战(一):CIFAR10结合神经网络加载、训练、测试完整步骤
|
11月前
|
机器学习/深度学习 编解码 定位技术
【小样本图像分割-2】UniverSeg: Universal Medical Image Segmentation
UniverSeg是一种用于医学图像分割的小样本学习方法,通过大量医学图像数据集的训练,实现了对未见过的解剖结构和任务的泛化能力。该方法引入了CrossBlock机制,以支持集和查询集之间的特征交互为核心,显著提升了分割精度。实验结果显示,UniverSeg在多种任务上优于现有方法,特别是在任务多样性和支持集多样性方面表现出色。未来,该方法有望扩展到3D模型和多标签分割,进一步提高医学图像处理的灵活性和效率。
263 0
【小样本图像分割-2】UniverSeg: Universal Medical Image Segmentation
|
11月前
|
机器学习/深度学习 编解码 算法
【小样本图像分割-4】nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation
《nnU-Net: 自适应框架用于基于U-Net的医学图像分割》是一篇2018年的论文,发表在Nature上。该研究提出了一种自适应的医学图像分割框架nnU-Net,能够自动调整模型的超参数以适应不同的数据集。通过2D和3D U-Net及级联U-Net的组合,nnU-Net在10个医学分割数据集上取得了卓越的性能,无需手动调整。该方法强调数据增强、预处理和训练策略等技巧,为医学图像分割提供了一个强大的解决方案。
421 0
【小样本图像分割-4】nnU-Net: Self-adapting Framework for U-Net-Based Medical Image Segmentation
|
7月前
|
机器学习/深度学习 存储 API
DeepSeek强化学习(Reinforcement Learning)基础与实践
强化学习(RL)是机器学习的重要分支,专注于训练智能体在环境中通过试错学习最优策略。DeepSeek提供了强大的工具和API,帮助高效构建和训练RL模型。本文将详细介绍使用DeepSeek进行强化学习的基础与实践,涵盖环境构建、智能体定义、Q学习及DQN训练等内容,并提供代码示例,助你掌握这些技巧。
|
11月前
|
机器学习/深度学习 编解码 监控
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务(从数据准备到训练测试部署的完整流程)
这篇文章详细介绍了如何使用YOLOv8进行目标检测任务,包括环境搭建、数据准备、模型训练、验证测试以及模型转换等完整流程。
18434 59
目标检测实战(六): 使用YOLOv8完成对图像的目标检测任务(从数据准备到训练测试部署的完整流程)
|
11月前
|
机器学习/深度学习 计算机视觉
【小样本图像分割-1】PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
本文介绍了ICCV 2019的一篇关于小样本图像语义分割的论文《PANet: Few-Shot Image Semantic Segmentation With Prototype Alignment》。PANet通过度量学习方法,从支持集中的少量标注样本中学习类的原型表示,并通过非参数度量学习对查询图像进行分割。该方法在PASCAL-5i数据集上取得了显著的性能提升,1-shot和5-shot设置下的mIoU分别达到48.1%和55.7%。PANet还引入了原型对齐正则化,以提高模型的泛化能力。
418 0
【小样本图像分割-1】PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment
|
11月前
|
机器学习/深度学习 计算机视觉 异构计算
YOLOv8优改系列一:YOLOv8融合BiFPN网络,实现网络快速涨点
该专栏专注于YOLOv8的 Neck 部分改进,融合了 BiFPN 网络,大幅提升检测性能。BiFPN 通过高效的双向跨尺度连接和加权特征融合,解决了传统 FPN 的单向信息流限制。文章详细介绍了 BiFPN 的原理及其实现方法,并提供了核心代码修改指导。点击链接订阅专栏,每周定时更新,助您快速提升模型效果。推荐指数:⭐️⭐️⭐️⭐️,涨点指数:⭐️⭐️⭐️⭐️。
892 0
|
移动开发 监控 网络协议
在Linux中,如何查看 http 的并发请求数与其 TCP 连接状态?
在Linux中,如何查看 http 的并发请求数与其 TCP 连接状态?
|
安全 Linux 数据安全/隐私保护
驾驭Linux的权力:Root与Sudo
在 Linux 系统中,权限管理至关重要,Root 用户与 Sudo 命令为核心组件。Root 作为超级用户,拥有最高权限,可执行任意命令,但也带来较高安全风险,建议仅在必要时使用。Sudo 则允许系统管理员授予普通用户临时的 Root 权限以执行特定命令,提升了系统的安全性和管理灵活性。通过合理配置 Sudoers 文件,可以实现对用户权限的精细化管理。综合运用 Root 和 Sudo 可确保系统的安全稳定运行。
395 1
|
机器学习/深度学习 网络协议 PyTorch
【文献学习】DCCRN: Deep Complex Convolution Recurrent Network for Phase-Aware Speech Enhancement
本文介绍了一种新的深度复数卷积递归网络(DCCRN),用于处理语音增强问题,特别是针对低模型复杂度的实时处理。
654 5