【YOLOv8改进 - 特征融合NECK】 HS-FPN :用于处理多尺度特征融合的网络结构,降低参数

简介: MFDS-DETR是针对白细胞检测的创新方法,它通过HS-FPN和可变形自注意力解决规模差异和特征稀缺问题。HS-FPN利用通道注意力模块增强特征表达,改善多尺度挑战。代码和数据集可在给定链接获取。此方法在WBCDD、LISC和BCCD数据集上表现优越,证明了其有效性和通用性。YOLO系列文章提供了更多目标检测改进和实战案例。

摘要

在标准的医院血液检测中,传统过程需要医生使用显微镜从患者的血液显微图像中手动分离白细胞。然后,这些分离出的白细胞通过自动白细胞分类器进行分类,以确定血液样本中不同类型白细胞的比例和数量,从而辅助疾病诊断。这种方法不仅耗时费力,而且由于图像质量和环境条件等因素,容易出现错误,从而可能导致后续分类不正确和误诊。现代白细胞检测方法在处理具有较少白细胞特征的图像和不同白细胞规模差异方面存在局限性,导致大多数情况下结果不尽如人意。

为了解决这些问题,本文提出了一种创新的白细胞检测方法:多层次特征融合和可变形自注意力 DETR(MFDS-DETR)。为了解决白细胞规模差异问题,我们设计了高层次筛选特征融合金字塔(HS-FPN),实现多层次融合。该模型使用高层次特征作为权重,通过通道注意力模块过滤低层次特征信息,然后将筛选后的信息与高层次特征融合,从而增强模型的特征表达能力。此外,我们通过在编码器中引入多尺度可变形自注意模块,并在解码器中使用自注意和交叉可变形注意机制,解决了白细胞特征稀缺问题,这有助于提取白细胞特征图的全局特征。

通过与其他尖端白细胞检测模型在私有 WBCDD、公共 LISC 和 BCCD 数据集上的比较,验证了所提出的 MFDS-DETR 方法的有效性、优越性和通用性。我们的源代码和私有 WBCCD 数据集可在以下地址获得:https://github.com/JustlfC03/MFDS-DETR。

YOLO目标检测创新改进与实战案例专栏

专栏目录: YOLO有效改进系列及项目实战目录 包含卷积,主干 注意力,检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

文章链接

论文地址:论文地址

代码地址:代码地址

基本原理

image-20240622094143702

HS-FPN(Hierarchical Scale-based Feature Pyramid Network)是一种用于多尺度特征融合的网络结构,旨在解决白细胞图像中的多尺度挑战,从而提高模型对白细胞的准确识别能力。HS-FPN包括两个主要组件:特征选择模块和特征融合模块。

  1. 特征选择模块:在特征选择模块中,不同尺度的特征图经过筛选过程。这个过程有助于选择高级和低级特征图中的信息。

  2. 特征融合模块:在特征融合模块中,经过筛选的特征与高级语义特征进行逐点相加。这种融合方式能够有效地将高级语义信息与低级特征属性相结合,从而提高对白细胞图像的特征表达能力。

HS-FPN利用通道注意(Channel Attention,CA)模块来利用高级语义特征作为权重,以过滤低级特征。这种筛选后的特征与高级语义特征相加,实现了多尺度特征融合,从而提高了模型的特征表达能力。通过这种方式,HS-FPN能够更好地捕获白细胞图像的全面特征信息,从而提高白细胞检测的准确性和效率。

yolov8 代码引入

# 定义HSFPN通道注意力机制类
class HSFPNChannelAttention(nn.Module):
    def __init__(self, in_planes, ratio=4, flag=True):
        super(HSFPNChannelAttention, self).__init__()
        # 自适应平均池化,将输入特征图变为1x1
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        # 自适应最大池化,将输入特征图变为1x1
        self.max_pool = nn.AdaptiveMaxPool2d(1)

        # 卷积层1,将输入通道数降维
        self.conv1 = nn.Conv2d(in_planes, in_planes // ratio, 1, bias=False)
        # ReLU激活函数
        self.relu = nn.ReLU()
        # 卷积层2,将通道数恢复
        self.conv2 = nn.Conv2d(in_planes // ratio, in_planes, 1, bias=False)

        # 标志位,决定输出是否与输入相乘
        self.flag = flag
        # Sigmoid激活函数
        self.sigmoid = nn.Sigmoid()

        # 初始化卷积层权重
        nn.init.xavier_uniform_(self.conv1.weight)
        nn.init.xavier_uniform_(self.conv2.weight)

    def forward(self, x):
        # 通过平均池化和两层卷积计算通道注意力
        avg_out = self.conv2(self.relu(self.conv1(self.avg_pool(x))))
        # 通过最大池化和两层卷积计算通道注意力
        max_out = self.conv2(self.relu(self.conv1(self.max_pool(x))))
        # 将平均池化和最大池化的结果相加
        out = avg_out + max_out
        # 根据flag决定是否与输入相乘并返回结果
        return self.sigmoid(out) * x if self.flag else self.sigmoid(out)

task与yaml配置

详见:hhttps://blog.csdn.net/shangyanaf/article/details/139877859

相关文章
|
2月前
|
机器学习/深度学习 资源调度 自然语言处理
不同类型的循环神经网络结构
【8月更文挑战第16天】
33 0
|
26天前
|
编解码 人工智能 文件存储
卷积神经网络架构:EfficientNet结构的特点
EfficientNet是一种高效的卷积神经网络架构,它通过系统化的方法来提升模型的性能和效率。
26 1
|
2月前
|
机器学习/深度学习 算法 文件存储
【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search
本文提出了一种名为渐进式神经架构搜索(Progressive Neural Architecture Search, PNAS)的方法,它使用顺序模型优化策略和替代模型来逐步搜索并优化卷积神经网络结构,从而提高了搜索效率并减少了训练成本。
39 9
|
2月前
|
监控 Linux 测试技术
什么是Linux系统的网络参数?
【8月更文挑战第10天】什么是Linux系统的网络参数?
47 5
|
2月前
|
机器学习/深度学习 人工智能 PyTorch
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
AI智能体研发之路-模型篇(五):pytorch vs tensorflow框架DNN网络结构源码级对比
62 1
|
2月前
|
机器学习/深度学习 Linux TensorFlow
【Tensorflow+keras】用代码给神经网络结构绘图
文章提供了使用TensorFlow和Keras来绘制神经网络结构图的方法,并给出了具体的代码示例。
41 0
|
2月前
|
机器学习/深度学习 API 数据处理
《零基础实践深度学习》2.4手写数字识别之网络结构
这篇文章介绍了手写数字识别任务中网络结构设计的优化,比较了多层全连接神经网络和卷积神经网络两种模型结构,并展示了使用PaddlePaddle框架实现这些网络结构,训练并观察它们在MNIST数据集上的表现。
|
5天前
|
存储 安全 网络安全
云计算与网络安全:技术融合下的信息安全新挑战
【9月更文挑战第29天】在数字化浪潮的推动下,云计算服务如雨后春笋般涌现,为各行各业提供了前所未有的便利和效率。然而,随着数据和服务的云端化,网络安全问题也日益凸显,成为制约云计算发展的关键因素之一。本文将从技术角度出发,探讨云计算环境下网络安全的重要性,分析云服务中存在的安全风险,并提出相应的防护措施。我们将通过实际案例,揭示如何在享受云计算带来的便捷的同时,确保数据的安全性和完整性。
|
2天前
|
安全 网络协议 网络安全
网络安全与信息安全:漏洞、加密与意识的三重奏
【9月更文挑战第32天】在数字世界的交响乐中,网络安全是那不可或缺的乐章。本文将带您深入探索网络安全的三大主题:网络漏洞的识别与防范、加密技术的奥秘以及安全意识的重要性。通过深入浅出的方式,我们将一起揭开这些概念的神秘面纱,并学习如何在实际生活中应用它们来保护自己的数字足迹。让我们开始这场既刺激又富有教育意义的旅程,提升个人和组织的网络安全防御能力。
|
1天前
|
存储 安全 算法
网络安全与信息安全:漏洞、加密与意识的三维防线
【9月更文挑战第33天】在数字化浪潮中,网络安全与信息安全成为守护数据宝藏的坚固盾牌。本文将深入探讨网络防御的三大支柱:安全漏洞的识别与防范,加密技术的应用和原理,以及提升个人和组织的安全意识。通过这些知识的分享,我们旨在为读者提供一套全面的网络安全策略,确保数字资产的安全无虞。
下一篇
无影云桌面