一、本文介绍
本文给大家带来的改进机制是低照度图像增强网络SCINet,SCINet(自校正照明网络)是一种专为低光照图像增强设计的框架。它通过级联照明学习过程和权重共享机制来处理图像,优化了照明部分以提升图像质量。我将该网络集成在YOLOv8的主干上针对于图像的输入进行增强,同时该网络的并不会增加参数和计算量,基本和普通的网络结构保持一致,同时该结构支持自定义调节层数,来控制图像增强的效果 ,非常适合想要在黑夜目标检测领域发表文章的读者,该基本网络不会影响模型的速度。
欢迎大家订阅我的专栏一起学习YOLO!
专栏目录:YOLOv8改进有效系列目录 | 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制
专栏回顾:YOLOv8改进系列专栏——本专栏持续复习各种顶会内容——科研必备
二、SCINet原理
2.2 SCINet原理
SCINet(自校正照明网络)是一种专为低光照图像增强设计的框架。它通过级联照明学习过程和权重共享机制来处理图像,优化了照明部分以提升图像质量。SCINet引入了自校正模块,用于减少计算负担并提高结果的稳定性。此外,其无监督训练损失功能使得模型能够适应不同场景。SCINet还显示出对简单操作设置的稳定性能适应性,以及可以提升现有照明增强工作性能的普适性。
SCINet的基本原理可以分为以下几个主要部分:
1. 级联照明学习与权重共享: SCINet采用了一个级联的照明学习过程,其中各个阶段共享权重。这种设计旨在优化照明组件,从而提升低光照图像的增强效果。
2. 自校正模块: 为了减少计算负担并提高暴露稳定性,SCINet构建了一个自校正模块。这个模块能够使每个阶段的结果收敛,从而在测试阶段仅需使用单个基础块。
3. 无监督训练损失: 作者定义了一种无监督训练损失来约束自校正模块下每个阶段的输出,使模型能够适应多种场景。
注意:YOLO网络只涉及到“级联照明学习与权重共享”,所以本篇文章着重介绍其级联照明学习与权重共享的相关内容。
2.3 级联照明学习与权重共享
级联照明学习与权重共享是SCINet的核心特性之一,主要包含以下几个方面:
1. 级联过程:在级联照明学习中,模型由多个阶段组成,每个阶段都对输入图像的照明进行估计。这种多阶段的处理方式有助于逐步改善图像亮度,每个阶段都在前一个阶段的基础上进一步提升图像质量。
2. 权重共享:在这些阶段中,模型的参数(权重)是共享的。这意味着,尽管每个阶段都执行相似的任务,但它们使用相同的模型参数来执行这些任务。权重共享可以减少模型的整体参数数量,从而减少了模型的复杂性和过拟合的风险。
3. 自校正模块:在每个阶段之后,一个自校正模块被用来校正当前阶段的输出。这一校正确保了随着级联过程的进行,每个阶段的输出逐渐趋于稳定,并且最终输出的质量不会因为过多的处理步骤而退化。
4. 计算效率:由于使用了权重共享,模型在训练时可以有效地学习如何处理低光照图像。在测试阶段,只需使用单个照明估计模块,这大大简化了模型并提高了推理速度。
5. 性能提升:级联照明学习与权重共享的结合使得模型不仅在处理单一图像时表现出色,也能够适应不同的低光照条件和场景,提升了模型的泛化能力和实际应用价值。
下图为大家展示了SCINet的整体框架,特别是在训练阶段包括照明估计和自校正模块两部分。
自校正模块的输出被添加到原始的低光照输入中,作为下一阶段照明估计的输入。这两个模块在整个训练过程中共享参数。在测试阶段,仅使用单个照明估计模块。这与SCINet基本原理的第一点和第二点紧密相关,即级联照明学习过程和权重共享以及自校正模块的设计来减少计算负担并提高结果的稳定性。