超分辨率方法的比较——插值、重构、学习

简介: 超分辨率方法的比较——插值、重构、学习

前言

参考论文:

image.png


一、基本介绍

图像超分辨率模型的基本假设是,如果低空间分辨率图像遵循与创建低空间分辨率图像相同的重采样过程,则低空间分辨率图像中的缺失细节可以被重建或从其他高空间分辨率图像中学习。基于这一假设,近十年来,人们一直致力于精确预测点扩散函数(point spread function, PSF),它代表了形成低分辨率像素的混合过程。主要有三组方法:1)基于插值的方法,2)基于重构的方法,3)基于学习的方法。

1、基于插值的方法

首先,基于插值的方法是基于一定的数学策略,从相关点计算出待恢复目标点的像素值,具有低复杂度和高效率的特点。但结果图像的边缘效应明显,插值过程中没有产生新的信息,无法恢复图像的细节。

2、基于重构的方法

其次,基于重构的方法对成像过程进行建模,整合来自同一场景的不同信息,获得高质量的重构结果。通常,这些方法以时间差异换取空间分辨率的提高,这通常需要预先注册和大量的计算。

3、基于学习的方法

第三,基于学习的方法[12-20]通过确定重建方法的分辨率提高倍数,克服了困难的局限性,可以面向单幅图像,这是目前超分辨率重建的主要发展方向。在这一类中,常用的方法有近邻嵌入方法(NE)、稀疏表示方法(SCSR)和深度学习方法。

二、方法比较

方法类型 基本假设 代表模型 优点 缺点
基于插值的方法 当前像素的值可以用附近的像素表示

The nearest neighbor interpolation

低复杂度,高效率 没有图像纹理细节可以预测,通常使图像看起来更平滑
The bilinear interpolation
The bicubic interpolation
基于重构的方法 通过图像可以恢复其物理性质和特征点扩展函数(PSF)的这些规则可以进一步应用于细节恢复 Joint MAP registration 将同一场景中的不同信息进行融合,获得高质量的信息重建结果 需要预注册,计算量大
Sparse regression and natural image prior
Kernel regression
PSF deconvolution
基于学习的方法 通过对大量图像样本的学习,可以得到点扩展函数 Neighbor-embedding (NE) 当训练样本更接近目标图像时获得更好的性能,当涉及大量样本时可以获得更高的PSNR 这非常耗时,需要大量的训练数据集,并且通常限制了跨数据集的模型泛化能力
Convolutional neural network (SRCNN)
Bayesian networks
Kernel-based methods
SVM-based methods
Sparse representation (SCSR)
SRGAN


目录
相关文章
|
5月前
|
编解码 人工智能 测试技术
无需训练,这个新方法实现了生成图像尺寸、分辨率自由
【4月更文挑战第25天】研究人员提出FouriScale方法,解决了扩散模型在生成高分辨率图像时的结构失真问题。通过膨胀卷积和低通滤波,该方法实现不同分辨率下图像的结构和尺度一致性,无需重新训练模型。实验显示FouriScale在保持图像真实性和完整性的同时,能生成任意尺寸的高质量图像,尤其在处理高宽比图像时表现出色。尽管在极高分辨率生成上仍有局限,但为超高清图像合成技术提供了新思路。[链接: https://arxiv.org/abs/2403.12963]
57 5
|
12月前
|
监控 算法 安全
基于伽马变换自适应修正的全景首尾融合算法
基于伽马变换自适应修正的全景首尾融合算法
|
数据可视化
绘制热图时看不出颜色差异?四种方式转换处理使结果显而“易”见
绘制热图时看不出颜色差异?四种方式转换处理使结果显而“易”见
19038 2
|
机器学习/深度学习
深度学习数据增强方法-内含(亮度增强,对比度增强,旋转图图像,翻转图像,仿射变化扩充图像,错切变化扩充图像,HSV数据增强)七种方式进行增强-每种扩充一张实现7倍扩)+ 图像缩放代码-批量
深度学习数据增强方法-内含(亮度增强,对比度增强,旋转图图像,翻转图像,仿射变化扩充图像,错切变化扩充图像,HSV数据增强)七种方式进行增强-每种扩充一张实现7倍扩)+ 图像缩放代码-批量
|
5月前
|
Python
优化哈里斯角例子
优化哈里斯角例子。
24 2
|
4月前
|
计算机视觉
图像处理之图像内插值与外插值
图像处理之图像内插值与外插值
23 0
|
4月前
|
算法 BI 计算机视觉
图像处理之积分图应用一(半径无关的快速模糊算法)
图像处理之积分图应用一(半径无关的快速模糊算法)
33 0
|
10月前
|
数据挖掘
插值应用案例1
插值应用案例1
|
10月前
插值应用案例2
插值应用案例2
|
数据采集 机器学习/深度学习
GRACE重力卫星缺失值插补及深度学习重构数据(三)-- 三次样条插值
三次样条插值通过使用三次多项式对每个小区间进行拟合,再通过选取适当的边界条件对插值函数的一阶和二阶导数进行约束,从而使得插值函数在插值节点处的一阶和二阶导数与原函数相等。三次样条插值方法得到的插值函数较为平滑,逼近精度较高,可以避免插值多项式过度拟合和震荡的问题。
208 0