超分辨率方法的比较——插值、重构、学习

简介: 超分辨率方法的比较——插值、重构、学习

前言

参考论文:

image.png


一、基本介绍

图像超分辨率模型的基本假设是,如果低空间分辨率图像遵循与创建低空间分辨率图像相同的重采样过程,则低空间分辨率图像中的缺失细节可以被重建或从其他高空间分辨率图像中学习。基于这一假设,近十年来,人们一直致力于精确预测点扩散函数(point spread function, PSF),它代表了形成低分辨率像素的混合过程。主要有三组方法:1)基于插值的方法,2)基于重构的方法,3)基于学习的方法。

1、基于插值的方法

首先,基于插值的方法是基于一定的数学策略,从相关点计算出待恢复目标点的像素值,具有低复杂度和高效率的特点。但结果图像的边缘效应明显,插值过程中没有产生新的信息,无法恢复图像的细节。

2、基于重构的方法

其次,基于重构的方法对成像过程进行建模,整合来自同一场景的不同信息,获得高质量的重构结果。通常,这些方法以时间差异换取空间分辨率的提高,这通常需要预先注册和大量的计算。

3、基于学习的方法

第三,基于学习的方法[12-20]通过确定重建方法的分辨率提高倍数,克服了困难的局限性,可以面向单幅图像,这是目前超分辨率重建的主要发展方向。在这一类中,常用的方法有近邻嵌入方法(NE)、稀疏表示方法(SCSR)和深度学习方法。

二、方法比较

方法类型 基本假设 代表模型 优点 缺点
基于插值的方法 当前像素的值可以用附近的像素表示

The nearest neighbor interpolation

低复杂度,高效率 没有图像纹理细节可以预测,通常使图像看起来更平滑
The bilinear interpolation
The bicubic interpolation
基于重构的方法 通过图像可以恢复其物理性质和特征点扩展函数(PSF)的这些规则可以进一步应用于细节恢复 Joint MAP registration 将同一场景中的不同信息进行融合,获得高质量的信息重建结果 需要预注册,计算量大
Sparse regression and natural image prior
Kernel regression
PSF deconvolution
基于学习的方法 通过对大量图像样本的学习,可以得到点扩展函数 Neighbor-embedding (NE) 当训练样本更接近目标图像时获得更好的性能,当涉及大量样本时可以获得更高的PSNR 这非常耗时,需要大量的训练数据集,并且通常限制了跨数据集的模型泛化能力
Convolutional neural network (SRCNN)
Bayesian networks
Kernel-based methods
SVM-based methods
Sparse representation (SCSR)
SRGAN


目录
相关文章
|
监控 算法 安全
基于伽马变换自适应修正的全景首尾融合算法
基于伽马变换自适应修正的全景首尾融合算法
106 0
|
机器学习/深度学习
深度学习数据增强方法-内含(亮度增强,对比度增强,旋转图图像,翻转图像,仿射变化扩充图像,错切变化扩充图像,HSV数据增强)七种方式进行增强-每种扩充一张实现7倍扩)+ 图像缩放代码-批量
深度学习数据增强方法-内含(亮度增强,对比度增强,旋转图图像,翻转图像,仿射变化扩充图像,错切变化扩充图像,HSV数据增强)七种方式进行增强-每种扩充一张实现7倍扩)+ 图像缩放代码-批量
|
8月前
|
机器学习/深度学习 编解码 PyTorch
【YOLOv8改进】HWD: Haar小波降采样,用于语义分割的降采样模块,减少特征图的空间分辨率
YOLOv8专栏探讨了卷积网络的改进,特别是提出了一种名为HWD的基于Haar小波的下采样模块,用于语义分割,旨在保留更多空间信息。HWD结合了无损编码和特征表示学习,提高了模型性能并减少了信息不确定性。新度量标准FEI量化了下采样的信息保留能力。论文和代码可在提供的链接中找到。核心代码展示了如何在PyTorch中实现HWD模块。
|
10月前
|
算法
【MFAC】基于紧格式动态线性化的无模型自适应迭代学习控制
【MFAC】基于紧格式动态线性化的无模型自适应迭代学习控制
【MFAC】基于紧格式动态线性化的无模型自适应迭代学习控制
|
10月前
用图直观上理解梯度算子(一阶)与拉普拉斯算子(二阶)的区别,线检测与边缘检测的区别
用图直观上理解梯度算子(一阶)与拉普拉斯算子(二阶)的区别,线检测与边缘检测的区别
404 1
|
自然语言处理 算法 测试技术
参数减半、与CLIP一样好,视觉Transformer从像素入手实现图像文本统一
参数减半、与CLIP一样好,视觉Transformer从像素入手实现图像文本统一
141 0
|
编解码 人工智能 算法
最新代码开源!TartanCalib:自适应亚像素细化的广角镜头标定
作者测试了三种利用中间相机模型的关键方法:(1)将图像分解为虚拟针孔相机,(2)将目标重新投影到图像帧中,以及(3)自适应亚像素细化。将自适应子像素细化和特征重投影相结合,可将重投影误差显著提高26.59%,帮助检测到最多42.01%的特征,并提高密集深度映射下游任务的性能。最后,TartanCalib是开源的,并在一个易于使用的标定工具箱中实现。作者还提供了一个translation 层和其它最先进的工作,允许使用数千个参数回归通用模型或使用更稳健的求解器。为此,TartanCalib是广角标定的首选工具!
最新代码开源!TartanCalib:自适应亚像素细化的广角镜头标定
|
机器学习/深度学习 传感器 编解码
【图像重建】基于 L1范数自适应双边总变分超分辨率图像序列重建附matlab代码
【图像重建】基于 L1范数自适应双边总变分超分辨率图像序列重建附matlab代码
|
机器学习/深度学习 算法 计算机视觉
【图像重构】基于3D 离散余弦变换实现图像的快速压缩重构附matlab代码
【图像重构】基于3D 离散余弦变换实现图像的快速压缩重构附matlab代码
|
算法 数据挖掘 计算机视觉
模糊非局部图像引导滤波和平均
模糊非局部图像引导滤波和平均
159 0