👨🎓个人主页
💥💥💞💞欢迎来到本博客❤️❤️💥💥
🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。
⛳️座右铭：行百里者，半于九十。
💥1 概述
本文在不同的多模态图像上实现了一些基本的和最近的融合方法。 使用一些融合指标客观地评估融合方法 弗里德曼统计检验及其事后检验比较了融合方法并检测它们之间的差异。
图像融合是一种通过将多种图像信息进行合并来生成更高质量图像的技术。它可以应用于各个领域，如医疗影像、遥感图像处理、计算机视觉等。本文将详细介绍图像融合的方法、客观评估指标，以及弗里德曼统计检验及其事后检验在图像融合研究中的应用。
一、图像融合方法分类及原理
图像融合方法可根据处理层次或输入方式分为以下几类：
1. 基于处理层次的分类（信号级、像素级、特征级、决策级）
- 信号级融合：直接合并不同传感器的原始信号，提升信噪比。例如遥感中的多传感器数据融合。
- 像素级融合：在像素层面操作，常用方法包括：
- 空间域方法：加权平均、最大值选择、逻辑运算等。
- 变换域方法：IHS变换、小波变换、主成分分析（PCA）等，通过多分辨率分解实现细节整合。
- 特征级融合：提取边缘、纹理等特征进行融合，例如基于梯度或区域分割的方法。
- 决策级融合：结合多个算法的输出结果，通过规则或投票机制生成最终图像，适用于复杂场景。
2. 基于输入方式的分类
- 多传感器融合：整合SAR与光学图像（如保留光谱与细节）。
- 多焦点融合：合成不同焦距的图像以扩展景深。
- 多时间融合：检测动态变化（如植被覆盖演变）。
3. 基于模型的方法
- 稀疏表示：利用字典学习重构图像。
- 深度学习方法：如卷积神经网络（CNN）和生成对抗网络（GAN），通过端到端训练优化融合效果。
二、客观评估指标
图像融合效果的量化评估指标可分为以下类别：
1. 基于统计特性
- 平均梯度（AG） ：反映细节清晰度，计算式为：
编辑
值越大表示边缘保留越好。 - 标准差（STD） ：衡量对比度，计算公式为：
编辑
高STD表明信息多样性高。
2. 基于信息论
- 信息熵（IE） ：衡量信息丰富度，公式为：
编辑
其中p(k为灰度级概率。 - 互信息（MI） ：评估源图像与融合结果的信息共享量，MI越高表明融合效果越好。
3. 基于结构相似性
- 结构相似性指数（SSIM） ：计算亮度、对比度和结构的相似性，范围[0,1]，值越大表示结构保留越完整。
- 视觉保真度（VIF） ：模拟人眼感知，评估图像自然度。
4. 光谱与全局质量指标
- 光谱角映射（SAM） ：计算光谱失真角度，值越小表示光谱保留越好。
- ERGAS：综合空间与光谱误差，值越低质量越高。
编辑
三、弗里德曼（Friedman）统计检验及事后检验
1. 弗里德曼检验
- 适用条件：
- 非正态分布数据或小样本。
- 多组配对数据（如多个算法在同一批图像上的性能比较）。
- 步骤：
- 对每个测试样本（如图像）的算法性能排序。
- 计算各算法的平均秩次RiRi。
- 计算检验统计量：
编辑
其中N为样本数，k为算法数。
4. 对比卡方临界值或计算p值，若p<0.05则拒绝原假设（算法性能无差异）。
2. 事后检验方法
- Nemenyi检验：适用于所有两两比较，临界差异（CD）计算为：
编辑
若两算法平均秩次差超过CD，则存在显著差异。 - Dunn检验：通过Bonferroni校正控制多重比较误差。
3. 在图像融合中的应用案例
- 小波基分类：通过Friedman检验筛选对特定特征（如边缘）融合效果相似的小波基。
- 算法性能排序：比较不同融合方法在AG、SSIM等指标上的全局排名。
四、不同融合方法的指标表现对比
| 融合层次 | 优势指标 | 典型方法 | 局限性 |
| 信号级 | 信噪比（PSNR） | 传感器信号叠加 | 光谱失真 |
| 像素级（空间域） | 计算效率高（STD、AG） | 加权平均、IHS变换 | 细节丢失 |
| 像素级（变换域） | 多尺度细节保留（SF、AG） | 小波变换、Contourlet | 计算复杂度高 |
| 特征级 | 边缘保留（QAB/F） | 梯度选择、区域分割 | 特征提取依赖算法 |
| 决策级 | 鲁棒性（VIF） | 多算法投票 | 规则设计复杂 |
| 深度学习 | 综合性能（SSIM、ERGAS） | CNN、GAN | 需大量训练数据 |
五、总结与展望
图像融合技术通过整合多源信息显著提升了图像质量，但其方法选择需结合应用场景：传统方法（如小波变换）在计算效率上占优，而深度学习方法在复杂特征融合中表现突出。评估时需综合使用AG、SSIM等指标，并通过Friedman检验确保算法比较的统计显著性。未来研究方向包括：
- 融合策略优化：结合物理模型与深度学习。
- 评估指标创新：开发更贴合人类感知的指标（如VIF++）。
- 计算效率提升：轻量化网络设计与硬件加速。
通过系统的方法设计、严谨的统计验证与多维指标评估，图像融合技术将在遥感、医学影像等领域持续发挥关键作用。
📚2 运行结果
2.1 GV_Image_Fusion_Max
编辑
编辑
2.2 GV_Image_Fusion_PCA
编辑
2.3 GV_Image_Fusion_weighted
编辑
编辑
2.4和2.5就不一一展示了。
2.4 basicFusionMethods
2.5 StatisticalComparison
部分代码：
clc
clear
close all
addpath(strcat(pwd,'/functions'));
addpath(strcat(pwd,'/images'));
addpath(strcat(pwd,'/fusion metrics'));
warning('OFF', 'MATLAB:xlswrite:AddSheet');
%% Defining Metrics, Fusion Methods, Source Images, excel file that you want to write the results in
%filter='_allMetrics'; metricNames = {'metric_MI', 'metric_MI2', 'metric_ssim', 'std2', 'entropy', 'metric_Edge_Intensity', 'metric_PSNR', 'metric_AverageGradient',...
% 'metric_Qabf', 'metricXydeas', 'metricCvejic', 'metricPeilla', 'metricChen', 'metricChenBlum', 'metricWang', 'metricYang', 'metricZhao'}' % , 'metricZheng', 'metricPWW', 'metricHossny'}'
filter='_1_12'; metricNames = {'entropy', 'metric_PSNR', 'metric_ssim', 'metric_MI2', 'metric_Qabf', 'metricChen','metricWang', 'metricPeilla', 'metricZhao'}'
choice = questdlg('Which experiments do you like to Evaluate?', ...
'Menu', ...
'expr 1-4','expr 5-8', 'expr 1-12', 'expr 1-4');
% Handle response
switch choice
case 'expr 1-4'
fusionMethodNames = {'PCNN_NSCT', 'm_PCNN', 'SCM_F', 'NSCT', 'NSCT_SR', 'SCM_M', 'Del_PCA', 'Del_max', 'Del_weighted'}'
sourceImages = {'G01' 'CT' 'MR_T2' ; 'G02' 'CT' 'MR_T2' ; 'G03' 'MR_T1' 'MR_T2' ; 'G04' 'MR_T1' 'MR_T2'}
xlsFile = strcat('Qc_1_4',filter,'.xlsx') %write the results to this file
case 'expr 5-8'
fusionMethodNames = {'CST','MFDF_NSST','NNSST','ST_NSST', 'FMSAP', 'Del_PCA', 'Del_max', 'Del_weighted'}'
sourceImages = {'G05' 'CT' 'MR' ; 'G06' 'CT' 'MR' ; 'G07' 'CT' 'MR' ; 'G08' 'CT' 'MR' }
xlsFile = strcat('Qc_5_8',filter,'.xlsx') %write the results to this file
case 'expr 1-12'
%fusionMethodNames = {'FSD', 'GP','DWT','RP', 'MDP', 'PCA', 'LP', 'SIDWT', 'Del_PCA', 'Del_max', 'Del_weighted'}'
fusionMethodNames = {'FSD', 'GP','DWT','RP', 'MDP', 'LP', 'SIDWT', 'Del_PCA', 'Del_max', 'Del_weighted'}'
sourceImages = {'G01' 'CT' 'MR_T2' ; 'G02' 'CT' 'MR_T2' ; 'G03' 'MR_T1' 'MR_T2' ; 'G04' 'MR_T1' 'MR_T2' ; ...
'G05' 'CT' 'MR' ; 'G06' 'CT' 'MR' ; 'G07' 'CT' 'MR' ; 'G08' 'CT' 'MR' ; ...
'G09' 'CT' 'MR_T2' ; 'G10' 'MR_PD' 'MR_T2' ; 'G11' 'CT' 'MR_GAD' ; 'G12' 'CT' 'MR_T1'}
xlsFile = strcat('Qc_1_12',filter,'.xlsx') %write the results to this file
end
%% initialization
fileName = split(xlsFile,'.xls'); fileName = char(fileName(1));
%%
fn_QC(metricNames,fusionMethodNames,sourceImages, xlsFile);
fn_ANOVA_Friedman(fileName, metricNames,fusionMethodNames,sourceImages)
fn_Friedman_PostHocs(fileName)
fn_metricsCorrelations(fileName, metricNames,fusionMethodNames,sourceImages)
%%
disp('-------------------');
disp(['the Quantitative Comparisons are written in this excel file: ', xlsFile]);
disp(['the ANOVA results are written in this excel file: ', strcat(fileName,'_ANOVA.xlsx')]);
disp(['the Friedman results are written in this excel file: ', strcat(fileName,'_Friedman.xlsx')]);
🎉3 参考文献
部分理论来源于网络，如有侵权请联系删除。
[1]李铖.论统一化模型的特设性及缺陷——基于对弗里德曼与科契尔理论的评析[J].自然辩证法研究,2022,38(09):12-18.DOI:10.19484/j.cnki.1000-8934.2022.09.012.
[2]范涛,王昊,李跃艳,邓三鸿.基于多模态融合资料获取，更多粉丝福利，MATLAB|Simulink|Python资源获取【请看主页然后私信】
