YOLOv8改进 | 主干篇 | 低照度增强网络Retinexformer改进黑夜目标检测 (2023.11最新成果,独家首发)

简介: YOLOv8改进 | 主干篇 | 低照度增强网络Retinexformer改进黑夜目标检测 (2023.11最新成果,独家首发)

一、本文介绍

本文给大家带来的改进机制是低照度图像增强网络Retinexformer,其是由今年最新发布的针对于黑夜目标检测的改进机制(非常适合大家用来发表论文),其主要思想是通过一种新颖的一阶段Retinex-based框架来增强低光图像。这个框架结合了照明信息的估计和损坏恢复,目的是提高低光图像的质量。核心在于照明引导的变换器,这种变换器使用照明信息来引导长期依赖性的建模,从而在不同照明条件下更好地处理图像。欢迎大家订阅本专栏,本专栏每周更新3-5篇最新机制,更有包含我所有改进的文件和交流群提供给大家。

欢迎大家订阅我的专栏一起学习YOLO!

下图展示了Retinexformer相对于各种图像增强网络的对比效果 ,最新版本的Retinexformer在各种场景都表现的很优秀,该网络的GFLOPs为18.4,参数量为308w在低照度网络中是非常小的。

image.png

专栏回顾:YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备

二、 Retinexformer的框架原理


image.png

Retinexformer的主要思想是通过一种新颖的一阶段Retinex-based框架来增强低光图像。这个框架结合了照明信息的估计和损坏恢复,目的是提高低光图像的质量。核心在于照明引导的变换器,这种变换器使用照明信息来引导长期依赖性的建模,从而在不同照明条件下更好地处理图像。通过这种方式,Retinexformer能够有效地增强低光图像,同时保持图像的自然外观和细节。

其主要主要创新点如下:

1. 一阶段Retinex-based框架(ORF):提出了一个简单但原则性的框架,用于估计照明信息以照亮低光图像,然后恢复损坏以产生增强图像。

2. 照明引导的变换器(IGT):设计了一个照明引导变换器,利用照明表示来指导不同照明条件下区域的非局部相互作用建模。

3. 创新的自注意力机制(IG-MSA):开发了一种新的自注意力机制,利用照明信息作为关键线索,指导长期依赖性的建模。

这些创新使Retinexformer在多个基准测试上显著优于现有的最先进方法,并在低光物体检测方面显示出其实际应用价值。


image.png

上图展示了Retinexformer方法的详细流程:

1. 输入图像与照明先验:流程以一个低光照输入图像开始,通过某种方法得到照明先验

image.png

2. 照明估计器:它利用输入图像和照明先验来生成照明图

image.png

,该照明图用于指导后续图像的照亮过程。

3. 照亮图像和特征提取:照明图

image.png

被用来照亮输入图像,生成照亮图像

image.png

,同时会提取照亮特征

image.png

4. 损坏恢复器—照明引导变换器:包括多个照明引导的注意力块(IGAB),利用照亮特征来指导注意力机制,逐步恢复图像质量。

5. 照明引导的多头自注意力(IG-MSA):这是IGAB的关键组成部分,通过照明信息引导自注意力计算,以捕获复杂的图像细节。

6. 最终图像输出:通过层层处理,最终输出增强后的图像,这一图像在质量上有显著提升,色彩失真和噪声得到有效控制。

目录
相关文章
|
2月前
|
机器学习/深度学习 数据可视化 计算机视觉
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
这篇文章详细介绍了如何通过可视化深度学习中每层特征层来理解网络的内部运作,并使用ResNet系列网络作为例子,展示了如何在训练过程中加入代码来绘制和保存特征图。
63 1
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
|
28天前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLO11改进 - C3k2融合】C3k2DWRSeg二次创新C3k2_DWR:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
【YOLO11改进 - C3k2融合】C3k2DWRSeg二次创新C3k2_DWR:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目DWRSeg是一种高效的实时语义分割网络,通过将多尺度特征提取分为区域残差化和语义残差化两步,提高了特征提取效率。它引入了Dilation-wise Residual (DWR) 和 Simple Inverted Residual (SIR) 模块,优化了不同网络阶段的感受野。在Cityscapes和CamVid数据集上的实验表明,DWRSeg在准确性和推理速度之间取得了最佳平衡,达到了72.7%的mIoU,每秒319.5帧。代码和模型已公开。
【YOLO11改进 - C3k2融合】C3k2DWRSeg二次创新C3k2_DWR:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
|
2月前
|
机器学习/深度学习 网络架构 计算机视觉
目标检测笔记(一):不同模型的网络架构介绍和代码
这篇文章介绍了ShuffleNetV2网络架构及其代码实现,包括模型结构、代码细节和不同版本的模型。ShuffleNetV2是一个高效的卷积神经网络,适用于深度学习中的目标检测任务。
81 1
目标检测笔记(一):不同模型的网络架构介绍和代码
|
2月前
|
算法 计算机视觉 Python
YOLOv8优改系列二:YOLOv8融合ATSS标签分配策略,实现网络快速涨点
本文介绍了如何将ATSS标签分配策略融合到YOLOv8中,以提升目标检测网络的性能。通过修改损失文件、创建ATSS模块文件和调整训练代码,实现了网络的快速涨点。ATSS通过自动选择正负样本,避免了人工设定阈值,提高了模型效率。文章还提供了遇到问题的解决方案,如模块载入和环境配置问题。
89 0
YOLOv8优改系列二:YOLOv8融合ATSS标签分配策略,实现网络快速涨点
|
2月前
|
机器学习/深度学习 计算机视觉 异构计算
YOLOv8优改系列一:YOLOv8融合BiFPN网络,实现网络快速涨点
本文介绍了将BiFPN网络应用于YOLOv8以增强网络性能的方法。通过双向跨尺度连接和加权特征融合,BiFPN能有效捕获多尺度特征,提高目标检测效果。文章还提供了详细的代码修改步骤,包括修改配置文件、创建模块文件、修改训练代码等,以实现YOLOv8与BiFPN的融合。
141 0
YOLOv8优改系列一:YOLOv8融合BiFPN网络,实现网络快速涨点
|
28天前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLO11改进 - C3k2融合】C3k2融合DWRSeg二次创新C3k2_DWRSeg:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
【YOLO11改进 - C3k2融合】C3k2融合DWRSDWRSeg是一种高效的实时语义分割网络,通过将多尺度特征提取方法分解为区域残差化和语义残差化两步,提高了多尺度信息获取的效率。网络设计了Dilation-wise Residual (DWR) 和 Simple Inverted Residual (SIR) 模块,分别用于高阶段和低阶段,以充分利用不同感受野的特征图。实验结果表明,DWRSeg在Cityscapes和CamVid数据集上表现出色,以每秒319.5帧的速度在NVIDIA GeForce GTX 1080 Ti上达到72.7%的mIoU,超越了现有方法。代码和模型已公开。
|
8天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在数字化时代,网络安全和信息安全已成为我们生活中不可或缺的一部分。本文将介绍网络安全漏洞、加密技术和安全意识等方面的知识,并提供一些实用的技巧和建议,帮助读者更好地保护自己的网络安全和信息安全。
|
1天前
|
存储 安全 网络安全
云计算与网络安全:云服务、网络安全、信息安全等技术领域的融合与挑战
随着云计算技术的飞速发展,越来越多的企业和个人开始使用云服务。然而,云计算的广泛应用也带来了一系列网络安全问题。本文将从云服务、网络安全、信息安全等方面探讨云计算与网络安全的关系,分析当前面临的挑战,并提出相应的解决方案。
12 3
|
7天前
|
安全 算法 网络安全
网络安全与信息安全:关于网络安全漏洞、加密技术、安全意识等方面的知识分享
在当今数字化时代,网络安全和信息安全已经成为了全球关注的焦点。随着技术的发展,网络攻击手段日益狡猾,而防范措施也必须不断更新以应对新的挑战。本文将深入探讨网络安全的常见漏洞,介绍加密技术的基本概念和应用,并强调培养良好安全意识的重要性。通过这些知识的分享,旨在提升公众对网络安全的认识,共同构建更加安全的网络环境。
|
6天前
|
存储 安全 网络安全
云计算与网络安全:探索云服务、网络安全和信息安全的交汇点
在数字化时代,云计算已成为企业和个人存储、处理数据的关键技术。然而,随着云服务的普及,网络安全问题也日益凸显。本文将深入探讨云计算与网络安全的关系,分析云服务中的安全挑战,并提出相应的解决方案。同时,我们还将介绍一些实用的代码示例,帮助读者更好地理解和应对网络安全问题。