Locally Adaptive Color Correction for Underwater Image Dehazing and Matching

简介: 该文提出了一种新颖的水下图像处理方法,结合颜色转移和局部调整来校正颜色,以应对水下光照和散射造成的图像退化。传统颜色转移方法基于全局参数,不适应水下场景中颜色变化的局部性质。文章中,作者通过融合策略,利用光衰减水平估计来实现局部颜色校正。首先,通过暗通道先验恢复彩色补偿图像,然后估计光衰减图。接着,创建一个合成图像,该图像的统计特性代表高衰减区域,用于颜色转移。最后,通过加权融合初始图像和颜色转移图像,生成最终的颜色校正图像。这种方法旨在提高水下图像的对比度和颜色准确性,特别关注高衰减区域。

水下图像由于波长相关的光衰减和散射的结合而严重恶化。

颜色转移是平衡颜色转换的一种选择技术,它假设固定的颜色转换,由全局参数定义,因此不能直接适用于水下场景中遇到的局部变量颜色转换。

本文介绍了一种原始的基于融合的策略,在局部调整颜色校正的同时利用颜色转移,作为从红色通道估计的光衰减水平的函数。

然后使用暗通道先验(DCP)[16]恢复彩色补偿图像,通过反演简化的Koschmieder光传输模型,就像室外去雾一样。该技术可以有效地提高图像对比度,并支持精确的传输图估计。

   颜色转移通常将颜色均值和标准偏差从参考图像转移到目标图像,并且已知在许多情况下是有效的。

   颜色转移通常将颜色均值和标准偏差从参考图像转移到目标图像,并且已知在许多情况下是有效的。然而,人们普遍认为,颜色转移过程的全局性质不适合在水下场景中遇到的空间变化的颜色投射。在水下,色彩校正理想情况下应取决于光衰减水平,而光衰减水平本身取决于场景深度和光谱。由于传统的颜色传输方法依赖于全局(而不是局部)图像统计,它们不具备局部调整颜色校正的能力。为了避免这种限制,我们建议采用一种基于融合的策略,并引入适当的输入和权重映射。

   我们的方法也是基于He等人[16]的暗通道先验的单图像水下去雾方法。它与以前的工作不同,它实现了一个简单而有效的预处理步骤来纠正水下图像固有的复杂颜色偏移。

色彩校正。大多数用于平衡图像颜色[7]的方法都做了一个特定的假设来估计光源的颜色,然后通过将每个颜色通道除以其对应的归一化光源强度来实现颜色恒定。其中,灰度世界算法[4]假设场景中的平均反射率是消色差的。因此,光源的颜色分布可以简单地通过独立地平均每个通道来估计。

   入射在像面一般点上的总辐照度有三个主要分量:直接分量、前向散射和后向散射

image.png

直接照射分量是指经目标表面反射进入相机的并未被水体散射或吸收的光;

前向散射分量是目标表面反射的经水中悬浮粒子散射后进入相机的光;

后向散射分量则指的是自然光入射到水体后经悬浮粒子散射后进入相机的光。

Jaffe-McGlamery模型假设光源以球状扩散并衰减,目标反射光可以由入射光和反射函数表示。直接照射分量的估计可以在假设目标物体为理想朗伯特体的基础上采用几何光学实现。前向散射分量是目标反射光在到达相机之前发生的小角度散射产生的,它的求解可以结合直接照射分量和点扩散函数的卷积算子实现。后向散射光进入相机的角度很广,其相应的后向散射分量则是通过体积散射函数对场景和相机之间的水体所分成的小水体进行加权,然后线性叠加得到的。该模型表示相机、成像范围、光源距离和水下环境都将对获取的水下图像产生影响。在短距离成像中,相机和光源简单组合即可获取质量较好的水下图像。在距离较长的成像范围内,独立相机和光源组成的系统将获取质量更好的水下图像,但是成像距离的增加将导致后向散射效应的凸显。

   直接分量是目标物体直接反射到像面上的光。在每个图像坐标向量x上,直接分量表示为:

image.png

J(x)为物体的辐射度,d(x)是观察者与物体之间的距离,η为衰减系数,eηd(x) 的指数项也称为通过水下介质的透射量t(x)

   在许多实际情况下,后向散射仍然是水下图像中对比度损失和颜色偏移的主要来源。在数学上,它通常表示为:

image.png

B(x)为背散射光的颜色矢量,前向散射增加了辐照度,并被发现主要导致图像模糊,几乎没有颜色伪影。

   忽略前向散射分量,简化的水下光学模型变为:

image.png

色彩校正旨在改善图像方面,主要通过消除由于各种照明或介质衰减特性在水下,需要纠正蓝绿色外观。然而,这种校正实施起来并不简单,因为颜色失真取决于场景深度和光谱,这是波长相关光衰减的结果。

   在水下,理想情况下色彩校正应取决于光衰减水平。然而,传统的颜色校正方法依赖于全局(而不是局部)图像统计,因此缺少局部调整/调整颜色调整的能力。

  我们建议采用一种基于融合的方法来局部适应颜色校正。因此,我们推导出两个输入(一个对应于最小校正水平,第二个对应于最大校正水平),并将它们按比例混合到所需的校正水平,这本身对应于光衰减水平。

现在我们解释衰减水平是如何估计的,以及输入是如何导出的。

在我们的实验中,衰减图A(x)根据红色通道信息简单估计为:

image.png

image.png 表示初始水下图像I的红色通道,γ是以幂律表达式形式控制gamma校正的参数(我们生成的结果默认值为γ = 1.2)

  首先,与初始水下输入相比,源图像中衰减较大的区域应保持不变,因为在随后的融合过程中,它们的颜色校正版本是主要关注点。其次,源图像的颜色分布——直接决定全局颜色传输参数——应该代表捕获到的具有显着衰减的场景,以便相关的颜色传输参数变得适当/相关以处理大幅衰减的区域。

为了满足这两个约束,我们建议为全局颜色传输程序提供定义的合成图像,以便将弱衰减区域统计数据转移到衰减较高的区域。

   合成图像 image.png 定义为

image.png

image.png 为输入图像的平均值,Ax)是(5)中定义的衰减图。颜色转移图像 image.png 用作第二个融合输入。

给定彩色传输合成图像, image.png 和初始图像Ix)我们最终的颜色校正图像 ICC(x) 然后基于一个简单的融合程序生成,使用衰减图 A(x) 及其倒数 [1 A(x)] 对每个输入进行加权: image.png

为了对水下图像去雾化,通过等式4,我们通过反转定义的图像形成模型来恢复表示 image.png 当 Ω(x) 定义以 x 为中心的局部补丁时,暗通道先验指出:对于所有的x都满足 image.png 基于图像形成模型4,我们可以估计传输为:

image.png

暗通道DCx)的最大值定义为:

image.png

对于x位置,t(x)接近0时,ICC(x)B∞。

为求解(8)我们需要估计B∞,我们观察到DCP也意味着暗通道DC(x)的大值DC(x) = image.png 对应于位置x,其中t(x)接近0,且ICC(x)B∞,取暗通道较大的像素中最亮的像素来估计B∞。

image.png

y*表示暗通道值高于99.9百分位DC99.9的像素中最亮的像素的位置,而rgb分别表示红色、绿色和蓝色分量。

 


相关文章
问题 There is no screen to be resumed matching
问题 There is no screen to be resumed matching
147 0
|
4月前
|
Python
UserWarning: Palette images with Transparency expressed in bytes should be converted to RGBA images
本文提供了解决PIL库中"Palette images with Transparency"警告的方法,通过将图片转换为'RGB'模式来消除透明通道的问题。
UserWarning: Palette images with Transparency expressed in bytes should be converted to RGBA images
|
7月前
|
算法 BI 计算机视觉
[Initial Image Segmentation Generator]论文实现:Efficient Graph-Based Image Segmentation
[Initial Image Segmentation Generator]论文实现:Efficient Graph-Based Image Segmentation
71 1
|
算法 PyTorch 算法框架/工具
论文解读:LaMa:Resolution-robust Large Mask Inpainting with Fourier Convolutions
论文解读:LaMa:Resolution-robust Large Mask Inpainting with Fourier Convolutions
745 0
|
7月前
|
机器学习/深度学习 搜索推荐 图形学
【论文精读】 SadTalker:Stylized Audio-Driven Single Image Talking Face Animation(CVPR2023)
【论文精读】 SadTalker:Stylized Audio-Driven Single Image Talking Face Animation(CVPR2023)
|
监控
DFNet: Enhance Absolute Pose Regression withDirect Feature Matching
DFNet: Enhance Absolute Pose Regression withDirect Feature Matching
160 0
|
机器学习/深度学习 算法 图形学
Deep learning based multi-scale channel compression feature surface defect detection system
简述:首先应用背景分割和模板匹配技术来定义覆盖目标工件的ROI区域。提取的感兴趣区域被均匀地裁剪成若干个图像块,每个块被送到基于CNN的模型,以分类杂乱背景中不同大小的表面缺陷。最后,对空间上相邻且具有相同类别标签的图像块进行合并,以生成各种表面缺陷的识别图。
153 0