一、本文介绍
本文给大家带来的改进机制是低照度图像增强网络Retinexformer,其是由今年最新发布的针对于黑夜目标检测的改进机制(非常适合大家用来发表论文),其主要思想是通过一种新颖的一阶段Retinex-based框架来增强低光图像。这个框架结合了照明信息的估计和损坏恢复,目的是提高低光图像的质量。核心在于照明引导的变换器,这种变换器使用照明信息来引导长期依赖性的建模,从而在不同照明条件下更好地处理图像。欢迎大家订阅本专栏,本专栏每周更新3-5篇最新机制,更有包含我所有改进的文件和交流群提供给大家。
欢迎大家订阅我的专栏一起学习YOLO!
下图展示了Retinexformer相对于各种图像增强网络的对比效果 ,最新版本的Retinexformer在各种场景都表现的很优秀,该网络的GFLOPs为18.4,参数量为308w在低照度网络中是非常小的。
专栏目录:YOLOv5改进有效涨点目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
专栏回顾:YOLOv5改进专栏——持续复现各种顶会内容——内含100+创新
二、 Retinexformer的框架原理
Retinexformer的主要思想是通过一种新颖的一阶段Retinex-based框架来增强低光图像。这个框架结合了照明信息的估计和损坏恢复,目的是提高低光图像的质量。核心在于照明引导的变换器,这种变换器使用照明信息来引导长期依赖性的建模,从而在不同照明条件下更好地处理图像。通过这种方式,Retinexformer能够有效地增强低光图像,同时保持图像的自然外观和细节。
其主要主要创新点如下:
1. 一阶段Retinex-based框架(ORF):提出了一个简单但原则性的框架,用于估计照明信息以照亮低光图像,然后恢复损坏以产生增强图像。
2. 照明引导的变换器(IGT):设计了一个照明引导变换器,利用照明表示来指导不同照明条件下区域的非局部相互作用建模。
3. 创新的自注意力机制(IG-MSA):开发了一种新的自注意力机制,利用照明信息作为关键线索,指导长期依赖性的建模。
这些创新使Retinexformer在多个基准测试上显著优于现有的最先进方法,并在低光物体检测方面显示出其实际应用价值。
上图展示了Retinexformer方法的详细流程:
1. 输入图像与照明先验:流程以一个低光照输入图像开始,通过某种方法得到照明先验
2. 照明估计器:它利用输入图像和照明先验来生成照明图
,该照明图用于指导后续图像的照亮过程。
3. 照亮图像和特征提取:照明图
被用来照亮输入图像,生成照亮图像
,同时会提取照亮特征
4. 损坏恢复器—照明引导变换器:包括多个照明引导的注意力块(IGAB),利用照亮特征来指导注意力机制,逐步恢复图像质量。
5. 照明引导的多头自注意力(IG-MSA):这是IGAB的关键组成部分,通过照明信息引导自注意力计算,以捕获复杂的图像细节。
6. 最终图像输出:通过层层处理,最终输出增强后的图像,这一图像在质量上有显著提升,色彩失真和噪声得到有效控制。