一、本文介绍
本文给大家带来的改进机制是低照度图像增强网络PE-YOLO中的PENet，PENet通过拉普拉斯金字塔将图像分解成多个分辨率的组件，增强图像细节和低频信息。它包括一个细节处理模块（DPM），用于通过上下文分支和边缘分支增强图像细节，以及一个低频增强滤波器（LEF），以捕获低频语义并减少高频噪声。同时该网络的发布版本并不完善，存在二次创新的机会，后期我会将其网络进行二次创新，增强低照度的检测性能。同时该网络发布版本存在Bug我也已经修复。欢迎大家订阅本专栏，本专栏每周更新3-5篇最新机制，更有包含我所有改进的文件和交流群提供给大家。
欢迎大家订阅我的专栏一起学习YOLO！
专栏回顾：YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备
二、PE-YOLO算法原理
2.1 PE-YOLO的基本原理
PE-YOLO是一种改进的暗光条件下的物体检测模型。它结合了金字塔增强网络（PENet）和YOLOv3。PENet通过拉普拉斯金字塔将图像分解成多个分辨率的组件，增强图像细节和低频信息。它包括一个细节处理模块（DPM），用于通过上下文分支和边缘分支增强图像细节，以及一个低频增强滤波器（LEF），以捕获低频语义并减少高频噪声。PE-YOLO采用端到端的训练方法，简化训练过程。
PE-YOLO的基本原理可以分为几个关键点：
1. 金字塔增强网络（PENet）: 使用拉普拉斯金字塔将图像分解为不同分辨率的组件，以提升细节和低频信息。
2. 细节处理模块（DPM）: 包含上下文分支和边缘分支，专门用于增强图像的细节。
3. 低频增强滤波器（LEF）: 用于捕获低频语义信息，同时减少高频噪声。
下面为大家展示了PE-YOLO系统的总览：
它说明了如何通过拉普拉斯金字塔将输入图像分解为不同层级（L0到L3），并通过PENet进行处理，最终提升图像质量以便进行物体检测。图中的细节处理模块（DPM）和低频增强滤波器（LEF）协同工作以增强图像。
2.2 金字塔增强网络
金字塔增强网络（Pyramid Enhancement Network）是PE-YOLO的关键组成部分，用于增强模型对不同尺度的目标的检测能力。
金字塔增强网络主要包括以下几个关键要点：
1. 多尺度特征金字塔：金字塔增强网络使用多个不同尺度的特征金字塔，这些金字塔包含了来自不同层级的特征图。这允许PE-YOLO同时检测不同大小的目标，从小尺寸物体到大尺寸物体都可以有效地检测。
2. 特征融合：金字塔增强网络通过特征融合的方式将来自不同尺度的特征图进行组合。这有助于提高模型对目标的定位和检测准确性，因为不同尺度的信息被有效地整合在一起。
3. 上采样和下采样：金字塔增强网络还包括上采样和下采样操作，以进一步调整特征金字塔的尺度。上采样用于增加分辨率，以更好地捕捉小目标的细节信息，而下采样则用于减小分辨率，以更好地捕捉大目标的全局信息。
4. 注意力机制：金字塔增强网络还引入了注意力机制，以使模型能够集中注意力在最重要的特征上，从而进一步提高检测性能。这有助于减少误检和漏检的情况。
总之，金字塔增强网络是PE-YOLO的关键创新之一，通过多尺度特征金字塔、特征融合、上采样、下采样和注意力机制等技术，提高了PE-YOLO模型在目标检测任务中的性能，使其能够更好地应对不同大小和尺度的目标。
2.3 细节处理模块
细节处理模块（Detail Processing Module，简称DPM）是PE-YOLO目标检测算法的一个关键组件，旨在增强模型对目标的细节信息的感知和处理能力。DPM的主要任务是通过上下文分支和边缘分支来对目标进行更详细的处理。
我为大家总结了PE-YOLO中细节处理模块（DPM）的主要特点和功能：
1. 上下文分支（Context Branch）：上下文分支负责获取上下文信息，通过捕捉远程依赖关系来理解目标周围的环境。这有助于模型更好地理解目标与其周围环境的关系，从而提高目标检测的准确性。上下文信息的引入可以使模型更好地分辨目标和背景之间的区别。
2. 边缘分支（Edge Branch）：边缘分支使用两个Sobel算子（Sobel operators）在不同方向上计算图像的梯度，从而获得目标的边缘信息。这有助于模型更好地识别目标的轮廓和边缘特征，并增强目标组件的纹理信息。边缘信息对于目标的细节识别和检测非常重要。
3. 组件增强：DPM的综合作用是增强目标的各个组件，包括上下文信息的增强和边缘信息的增强。这使得模型更能够准确地捕捉目标的细节特征，从而提高目标检测性能。
下图展示的是DPM的结构包括上下文分支（CB）和边缘分支（EB）：
上下文分支通过捕捉远程依赖关系来获取上下文信息，并全局增强组件。
边缘分支使用两个不同方向的Sobel运算符来计算图像梯度，以获取边缘并增强组件的纹理。
2.4 低频增强滤波器
低频增强滤波器（Low-Frequency Enhancement Filter，简称LEF）用于捕捉和增强图像中的低频信息，这些低频信息通常包含了图像的大部分语义和关键信息，对于检测器的预测非常重要。
PE-YOLO中低频增强滤波器（LEF）的主要特点和功能总结如下：
1. 自适应平均池化：LEF使用不同尺寸的自适应平均池化操作来截取低频分量。这意味着LEF可以动态地适应不同尺度和语义的低频信息，以确保最大程度地捕捉图像中的关键细节。
2. 低频信息捕捉：LEF的主要任务是捕捉和增强图像中的低频信息，这些信息包含了图像的主要语义和关键细节。通过使用低通滤波器来过滤特征，LEF只允许低于截止频率的信息通过，从而增强了低频成分。
3. 多尺度处理：考虑到Inception的多尺度结构，LEF在不同的尺寸上应用自适应平均池化，以适应不同语义和尺度的低频信息。这有助于提高模型对图像细节的理解和捕捉。
4. 通道分离：LEF将特征f分为四个部分，即{f1, f2, f3, f4}，通过通道分离的方式，每个部分都可以独立处理，以进一步增强低频信息。
下图展示了低频增强滤波器（LEF）的详细信息。LEF由不同大小的自适应平均池化组成，用于截取低频分量。
考虑到Inception的多尺度结构，我们使用了大小分别为1×1、2×2、3×3、6×6的自适应平均池化，并在每个尺度的末尾使用上采样来恢复特征的原始大小。不同核大小的平均池化形成了一个低通滤波器。我们通过通道分离将f分成四个部分，即{f1, f2, f3, f4}。每个部分都使用不同尺寸的池化进行处理，描述如下：
其中
是分割在通道上的f的一部分，Up是双线性插值采样，
是不同尺寸s × s的自适应平均池化。最后，在张量拼接每个{
, i = 1, 2, 3, 4}之后，我们将它们还原为f ∈
。
