💥💥💞💞欢迎来到本博客❤️❤️💥💥
🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。
⛳️座右铭：行百里者，半于九十。
💥1 概述
文献：
编辑
军事、导航和隐藏武器探测需要不同的成像模式，如可见光和红外光，以监测目标场景。这些方式提供了补充信息。为了更好地感知态势，必须将这些图像的补充信息集成到单个图像中。图像融合是将互补的源信息集成到合成图像中的过程。该文提出了一种基于显著性检测和双尺度图像分解的图像融合新方法。该方法是有益的，因为本文引入的视觉显著性提取过程可以很好地突出源图像的显著性信息。提出了一种基于视觉显著性的权重图构建新流程。此过程能够将源图像的视觉重要信息集成到融合图像中。与大多数多尺度图像融合技术相比，所提出的技术仅使用双尺度图像分解。所以它既快速又高效。我们的方法在多个图像对上进行了测试，并通过目视检查和使用客观融合指标进行定性评估。将所提方法的结果与最先进的多尺度融合技术进行了比较。结果表明，所提方法的性能与现有方法相当或优于现有方法。
单个传感器图像捕获可能并不总是提供有关目标场景的完整信息。有时我们需要同一场景的两个或多个图像，以便更好地进行视觉理解。这些图像可以通过使用相同模态的传感器或使用不同模态的多个传感器来捕获，具体取决于应用。这些图像捕获提供互补信息或不同的视觉信息。人类观察者无法可靠地组合和观察这些多个图像捕获的合成图像。来自这些图像的有用或补充信息应集成到单个图像中，以提供比任何一个单个源图像更准确的场景描述。图像融合[1]是将源图像中的互补或有用信息组合或整合到融合图像中的现象。图像融合在数码摄影[2]、[3]、[33]、医学成像[4]、[32]、军事[5]、导航[5]、[6]、隐蔽武器检测[31]、[6]、机器视觉[8]等方面有多种应用。
在军事、导航、隐蔽武器探测等应用中，不同的成像系统，如电荷耦合器件（CCD）或可见光（VI）和前视红外（FLIR）或红外（IR）用于监测目标场景。在这些应用中，由于视觉对比度低，仅从VI图像中很难检测到目标的细节。但它们可以很容易地在红外图像中找到。VI图像能够提供背景细节，如植被、纹理、面积和土壤。为了更好地理解场景，我们需要将来自这些多个图像的有用信息整合到一个图像中。通过连续查看多个图像来获取有意义的信息是一项非常繁琐的任务。然而，融合系统可以整合来自这些互补图像的信息以提供合成图像。
融合过程可以在三个不同级别中的任何一个[1]中执行：像素，目标和符号级别。在像素级别，融合是在共同注册的源图像上逐个像素执行的。在目标级图像融合中，使用从每个源图像派生的属性描述符、特征和对象标签进行融合。符号级图像融合是一种高级融合。在这里，本地决策者来自客观水平的融合结果。最后，将融合用于从这些决策者中提取的概率决策信息。我们对这篇论文的兴趣只在于像素级融合。
本文的其余部分组织如下。第二节回顾了现有的融合技术。在第三节中，解释了建议的方法。第四 节介绍了实验设置。第五节介绍了结果和分析。第六节结束本文。
使用显著性检测的可见光和红外图像的两尺度图像融合研究
一、研究背景与意义
在现代信息获取与处理中，不同传感器的应用提供了多维度的数据来源。可见光图像以其高分辨率、丰富的纹理细节和色彩信息而著称，能够反映物体的形状、颜色和纹理等表面特征。然而，其成像容易受到光照条件的影响，在弱光、阴影或雾霾等恶劣环境下性能下降。与之相对，红外图像则能够捕捉物体自身或环境发出的热辐射信息，不受光照条件限制，可以有效揭示物体的热分布和隐藏目标，在夜视、安防、医疗等领域具有重要应用。然而，红外图像通常分辨率较低，纹理信息不丰富，难以提供精细的场景描述。
为了克服单一传感器图像的局限性，图像融合技术应运而生。图像融合的目标是将来自不同源图像的有用信息整合到一幅新的图像中，从而提高信息的完整性和可靠性。可见光和红外图像融合作为多光谱图像融合的重要分支，已成为图像处理领域的研究热点。成功的可见光和红外图像融合不仅能够保留可见光图像的丰富细节和纹理，同时也能融入红外图像的热信息，从而生成一幅既包含场景细节又突出热目标的融合图像，为目标检测、识别、跟踪以及场景理解等任务提供更全面的信息支撑。
二、研究现状
传统的可见光和红外图像融合方法大致可分为像素级融合、特征级融合和决策级融合。像素级融合直接对源图像的像素值进行加权平均或选取，方法简单易实现，但容易产生伪影和对比度下降。特征级融合则先提取源图像的特征，再对特征进行融合，最后重建融合图像。决策级融合则是在更高层次上对源图像进行理解和分析，然后做出决策并融合。
然而，这些传统方法在处理细节丰富度和热辐射信息的同时，往往面临信息冗余、伪影产生或重要特征丢失的问题。为了解决这些问题，研究人员提出了基于多尺度分解的融合方法，如金字塔分解、小波变换等，这些方法在一定程度上能够分离图像的细节信息和低频信息，并进行有针对性的融合。但如何有效融合不同尺度层的分解系数仍然是一个挑战。
近年来，显著性检测在图像处理领域得到了广泛应用。显著性检测是指从图像中提取出显著区域，即吸引人眼注意力的区域。这些显著区域通常包含了图像中的重要信息，因此在图像融合中起着重要的作用。将显著性检测引入到可见光和红外图像融合中，可以更好地突出源图像中的关键特征，抑制非重要区域的噪声和干扰，从而提高融合图像的质量和视觉效果。
三、两尺度图像融合方法
1. 方法概述
本文提出了一种基于显著性检测的两尺度图像融合方法，旨在利用图像的显著性信息指导多尺度融合过程。该方法主要包括以下几个步骤：源图像分解、显著性图生成、显著性引导的融合规则设计以及融合图像重构。
2. 源图像分解
采用简单的两尺度分解策略，将源图像分解为基础层和细节层。基础层反映图像的低频信息和主要结构，可以通过高斯滤波或均值滤波等低通滤波器获得。细节层则包含图像的高频信息、边缘和纹理等细节，可以通过源图像减去其基础层得到。
3. 显著性图生成
显著性图能够突出图像中对人眼视觉系统更具吸引力的区域。在可见光和红外图像融合中，显著性区域可能包含重要的目标、明显的纹理或热辐射异常区域。利用显著性信息可以更好地指导融合过程，将重要的信息更多地融入到融合图像中。
对于可见光图像，可以采用基于对比度、基于频率或基于学习的显著性检测方法。考虑到红外图像通常缺乏丰富的纹理和色彩信息，其显著性可能更多地体现在温度的异常变化上。因此，对于红外图像的显著性检测，可以考虑基于局部对比度或基于灰度梯度的显著性方法。
设可见光显著性图为SV，红外显著性图为SI。具体的显著性计算方法可以根据实际需求和图像特点进行选择。例如，可以采用中心-周边差分法或基于谱残差法的显著性检测算法。
4. 显著性引导的融合规则设计
- 基础层融合：基础层主要包含图像的低频信息和主要结构。在可见光和红外图像中，基础层可能反映场景的光照、背景和主要物体的整体形状。对于基础层的融合，可以采用加权平均的方法，权重可以根据源图像的整体亮度、对比度或显著性信息来确定。考虑到红外图像在突出热目标方面的优势，可以根据红外图像的显著性来调整基础层的融合权重，使红外图像的基础层在热目标区域贡献更多。
- 细节层融合：细节层包含图像的高频信息，如边缘、纹理和噪声。细节层的融合对保留源图像的细节信息至关重要。简单地对细节层进行平均可能会导致细节模糊，而简单地取大会放大噪声。利用显著性信息可以更好地指导细节层的融合，突出显著性区域的细节，抑制非显著性区域的噪声。可以采用基于显著性幅度的融合规则，对于每个像素点，选择显著性更高的源图像的细节层系数。
具体地，可以采用以下融合规则：
编辑
更进一步，可以考虑采用基于显著性的加权平均或取大与加权平均相结合的策略。例如，在显著性较高的区域采用取大策略以保留更丰富的细节，在显著性较低的区域采用加权平均策略以抑制噪声。
5. 融合图像重构
将融合后的基础层和细节层组合起来得到最终的融合图像。通过这种两尺度分解与显著性引导的融合策略，可以有效地整合可见光和红外图像的互补信息。基础层的融合保留了场景的主要结构和热目标的整体信息，而细节层的融合则在显著性区域突出了纹理、边缘和热辐射细节，从而生成一幅既清晰又具有热信息突出性的融合图像。
四、实验结果与分析
1. 实验设置
选择多组可见光和红外图像对进行实验，包括不同场景、不同光照条件下的图像。在实验过程中，采用常用的图像融合评价指标，如信息熵、标准差、平均梯度、边缘强度、空间频率、特征互信息和交叉熵等，对融合结果进行评估。
2. 实验结果
实验结果表明，基于显著性检测的两尺度图像融合方法能够有效结合红外图像的目标信息和可见光图像的细节信息，生成具有更高信息量和更好视觉效果的融合图像。与其他融合方法相比，该方法在信息熵、平均梯度、边缘强度等指标上均有显著提升，表明融合图像包含了更多的信息量和更清晰的边缘细节。同时，在主观视觉效果上，融合图像中的目标更加突出，背景更加清晰，整体视觉效果更加自然。
3. 方法优势与挑战
- 优势：
- 利用显著性信息指导融合过程，能够更好地突出源图像中的重要区域和目标，提高融合图像的信息显著性。
- 在细节层融合中，通过显著性引导，可以更好地抑制非显著性区域的噪声，提高融合图像的视觉质量。
- 在显著性区域对细节层进行针对性融合，有助于保留源图像的丰富细节和纹理信息。
- 两尺度分解方法结构简单，易于实现。
- 挑战：
- 显著性图的质量直接影响融合效果。不同场景和图像内容下的显著性检测方法性能差异较大，如何选择或设计鲁棒的显著性检测算法是一个挑战。
- 如何更有效地利用可见光和红外图像的显著性信息来指导融合过程，仍有待深入研究。
📚2 运行结果
编辑
编辑
编辑
部分代码：
clc; clear all; close all; %% SOURCE IMAGE 1 I1=(imread('hoed_A.tif')); % %% SOURCE IMAGE 2 % I2=(imread('hoed_B.tif')); %% tic N=3; Med1= medfilt2(I1, [N N]); M=35; h=1/(M*M)*ones(M); b1=imfilter(double(I1),double(h),'circular'); d1=double(I1)-b1; S1=(b1-double(Med1)).^2; Med2= medfilt2(I2, [N N]); b2=imfilter(double(I2),double(h),'circular');
clc;
clear all;
close all;
%% SOURCE IMAGE 1
I1=(imread('hoed_A.tif'));
%
%% SOURCE IMAGE 2
%
I2=(imread('hoed_B.tif'));
%%
tic
N=3;
Med1= medfilt2(I1, [N N]);
M=35;
h=1/(M*M)*ones(M);
b1=imfilter(double(I1),double(h),'circular');
d1=double(I1)-b1;
S1=(b1-double(Med1)).^2;
Med2= medfilt2(I2, [N N]);
b2=imfilter(double(I2),double(h),'circular');
🎉3 参考文献
文章中一些内容引自网络，会注明出处或引用为
