1所提方法
在恶劣天气条件下拍摄的图像，由于特定天气信息的干扰，能见度较差，导致目标检测困难。为了解决这一挑战，本文提出了一种图像自适应检测框架，通过去除特定天气信息并揭示更多潜在信息。如图2所示，整个管道由一个基于cnn的参数预测器(CNNPP)、一个可微分图像处理模块(DIP)和一个检测网络组成。首先调整输入图像的大小为256x256，并将其输入到CNN-PP，以预测DIP的参数。然后，将经过DIP模块滤波后的图像作为YOLOv3检测器的输入。作者提出了一种端到端的混合数据训练方案，该方案具有检测损失，使CNN-PP能够学习适当的DIP，以弱监督方式增强图像的目标检测。
DIP Module
图像滤波器的设计应遵循可微性、分辨率独立的原则。对于基于梯度的CNN-PP优化，滤波器应该是可微的，以允许通过反向传播训练网络。由于CNN在处理高分辨率图像(如4000×3000)时会消耗大量的计算资源，所以在本文中，从下采样的大小为256×256的低分辨率图像中学习滤波器参数，然后将相同的滤波器应用到原始分辨率的图像中。因此，这些过滤器需要独立于图像分辨率。
我们提出的DIP模块由六个可微滤波器组成，具有可调超参数，包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen。标准的颜色和色调操作符，如WB、Gamma、Contrast和Tone，可以表示为像素级滤波器。因此，设计的滤波器可以分为雾化、像素化和锐化。在这些滤波器中，除雾滤波器是专门为大雾场景设计的。具体情况如下。
1、像素级滤波器
像素级滤波器映射一个输入像素值转换为输出像素值，其中分别表示红、绿、蓝三个颜色通道的值。表1列出了四个像素级过滤器的映射函数，其中第二列列出了在本文的方法中要优化的参数。WB和Gamma是简单的乘法和功率变换。显然，它们的映射函数对于输入图像和参数都是可微的。
设计了可微对比度滤波器，输入参数设置原始图像和完全增强图像之间的线性插值。所示表1，映射函数中的定义如下:
这里将tone 滤波器设计为一个单调的分段线性函数。用参数学习tone 滤波器，用表示，tone 曲线的点记为，其中。此外，映射函数用可微参数表示，这使得函数对于输入图像和参数都是可微的，如下所示
2、锐化滤波器
图像锐化可以突出图像的细节。就像未锐化掩模技术(Polesel, Ramponi, and Mathews 2000)，锐化过程可以描述如下:
其中为输入图像，为高斯滤波器，λ为正缩放因子。这个锐化操作对于和λ都是可微的。注意，锐化程度可以通过优化λ调优目标检测性能。
3、除雾滤波器
基于暗通道先验方法设计了一个具有可学习参数的除雾滤波器。基于大气散射模型，朦胧图像的形成可以表述为:
其中为雾天图像，为场景亮度。A为全球大气光，为介质透射图，定义为:
其中β为大气的散射系数，为场景深度。
为了恢复干净图像，关键是获取大气光A和透射图。为此，首先计算暗通道图，并选择最亮的1000个像素。然后，对雾霾图像的1000个像素平均估计A。
根据上式，可以推导出的近似解如下：
进一步介绍一个参数除雾程度控制方法如下:
由于上面的操作是可微的，可以优化通过反向传播使除雾滤波器更有利于雾天图像的检测。
CNN-PP Module
在相机图像信号处理(ISP)管道中，通常使用一些可调滤波器进行图像增强，其超参数由经验丰富的工程师通过视觉检查手动调整。
通常，这样的调优过程是非常笨拙和昂贵的，以找到合适的参数，广泛的场景。为了解决这一局限性，建议使用一个较小的CNN作为参数预测器来估计超参数，这是非常有效的。
以雾天场景为例，CNN-PP的目的是通过了解图像的全局内容，如亮度、颜色和色调以及雾的程度来预测DIP的参数。因此，下采样图像足以估计这些信息，可以大大节省计算成本。对于任意分辨率的输入图像，我们简单地使用双线性插值将其采样到256×256分辨率。如图2所示，CNN-PP网络由5个卷积块和2个全连接层组成。
每个卷积块包括一个带有stride=2的3 × 3卷积层和一个LeakyRelu。最后的全连接层输出DIP模块的超参数。这5个卷积层的输出通道分别为16、32、32、32和32。的当参数总数为15时，CNN-PP模型只包含165K个参数。
Detection Network Module
在本文中，选择one-stage检测器YOLOv3作为检测网络。与之前的版本相比，YOLOv3基于ResNet的思想设计了darknet-53，由连续的3×3和1×1卷积层组成。通过对多尺度特征图进行预测，实现多尺度训练，从而进一步提高检测精度，特别是对小目标的检测精度。采用了与原来相同的网络结构和损失函数。
Hybrid Data Training
为了在正常和恶劣天气条件下都能达到理想的检测性能，采用了IA-YOLO混合数据训练方案。算法1总结了提出方法的训练过程。
在输入到网络进行训练之前，每一幅图像都有2/3的概率被随机添加某种雾或被转换为微光图像。无论是普通的还是合成的低质量训练数据，整个过程都是端到端训练，使用YOLOv3检测损失，确保IA-YOLO中的所有模块都可以相互适应。
因此，CNN-PP模块在不手动标注GT真实图像的情况下，受到检测损失的弱监督。混合数据训练模式确保IA-YOLO可以根据每张图像的内容自适应处理图像，从而实现较高的检测性能。
2实验
指标如下：
可视化结果
3参考
[1].Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions
