超分辨率方法的比较——插值、重构、学习

简介: 超分辨率方法的比较——插值、重构、学习

前言

参考论文:

image.png


一、基本介绍

图像超分辨率模型的基本假设是,如果低空间分辨率图像遵循与创建低空间分辨率图像相同的重采样过程,则低空间分辨率图像中的缺失细节可以被重建或从其他高空间分辨率图像中学习。基于这一假设,近十年来,人们一直致力于精确预测点扩散函数(point spread function, PSF),它代表了形成低分辨率像素的混合过程。主要有三组方法:1)基于插值的方法,2)基于重构的方法,3)基于学习的方法。

1、基于插值的方法

首先,基于插值的方法是基于一定的数学策略,从相关点计算出待恢复目标点的像素值,具有低复杂度和高效率的特点。但结果图像的边缘效应明显,插值过程中没有产生新的信息,无法恢复图像的细节。

2、基于重构的方法

其次,基于重构的方法对成像过程进行建模,整合来自同一场景的不同信息,获得高质量的重构结果。通常,这些方法以时间差异换取空间分辨率的提高,这通常需要预先注册和大量的计算。

3、基于学习的方法

第三,基于学习的方法[12-20]通过确定重建方法的分辨率提高倍数,克服了困难的局限性,可以面向单幅图像,这是目前超分辨率重建的主要发展方向。在这一类中,常用的方法有近邻嵌入方法(NE)、稀疏表示方法(SCSR)和深度学习方法。

二、方法比较

方法类型 基本假设 代表模型 优点 缺点
基于插值的方法 当前像素的值可以用附近的像素表示

The nearest neighbor interpolation

低复杂度,高效率 没有图像纹理细节可以预测,通常使图像看起来更平滑
The bilinear interpolation
The bicubic interpolation
基于重构的方法 通过图像可以恢复其物理性质和特征点扩展函数(PSF)的这些规则可以进一步应用于细节恢复 Joint MAP registration 将同一场景中的不同信息进行融合,获得高质量的信息重建结果 需要预注册,计算量大
Sparse regression and natural image prior
Kernel regression
PSF deconvolution
基于学习的方法 通过对大量图像样本的学习,可以得到点扩展函数 Neighbor-embedding (NE) 当训练样本更接近目标图像时获得更好的性能,当涉及大量样本时可以获得更高的PSNR 这非常耗时,需要大量的训练数据集,并且通常限制了跨数据集的模型泛化能力
Convolutional neural network (SRCNN)
Bayesian networks
Kernel-based methods
SVM-based methods
Sparse representation (SCSR)
SRGAN


目录
打赏
0
0
0
0
41
分享
相关文章
深度学习数据增强方法-内含(亮度增强,对比度增强,旋转图图像,翻转图像,仿射变化扩充图像,错切变化扩充图像,HSV数据增强)七种方式进行增强-每种扩充一张实现7倍扩)+ 图像缩放代码-批量
深度学习数据增强方法-内含(亮度增强,对比度增强,旋转图图像,翻转图像,仿射变化扩充图像,错切变化扩充图像,HSV数据增强)七种方式进行增强-每种扩充一张实现7倍扩)+ 图像缩放代码-批量
【YOLOv8改进】HWD: Haar小波降采样,用于语义分割的降采样模块,减少特征图的空间分辨率
YOLOv8专栏探讨了卷积网络的改进,特别是提出了一种名为HWD的基于Haar小波的下采样模块,用于语义分割,旨在保留更多空间信息。HWD结合了无损编码和特征表示学习,提高了模型性能并减少了信息不确定性。新度量标准FEI量化了下采样的信息保留能力。论文和代码可在提供的链接中找到。核心代码展示了如何在PyTorch中实现HWD模块。
【计算机图形学】实验三 用Cohen-Sutherland裁剪算法实现直线段裁剪
【计算机图形学】实验三 用Cohen-Sutherland裁剪算法实现直线段裁剪
760 2
【最优方案】合唱队形
【最优方案】合唱队形
221 0
最新代码开源!TartanCalib:自适应亚像素细化的广角镜头标定
作者测试了三种利用中间相机模型的关键方法:(1)将图像分解为虚拟针孔相机,(2)将目标重新投影到图像帧中,以及(3)自适应亚像素细化。将自适应子像素细化和特征重投影相结合,可将重投影误差显著提高26.59%,帮助检测到最多42.01%的特征,并提高密集深度映射下游任务的性能。最后,TartanCalib是开源的,并在一个易于使用的标定工具箱中实现。作者还提供了一个translation 层和其它最先进的工作,允许使用数千个参数回归通用模型或使用更稳健的求解器。为此,TartanCalib是广角标定的首选工具!
最新代码开源!TartanCalib:自适应亚像素细化的广角镜头标定
可变形卷积在视频学习中的应用:如何利用带有稀疏标记数据的视频帧
可变形卷积在视频学习中的应用:如何利用带有稀疏标记数据的视频帧
256 0
可变形卷积在视频学习中的应用:如何利用带有稀疏标记数据的视频帧
谷歌像素递归超分辨率研究:怎么消灭低分辨率图像马赛克
最近,谷歌发布了一种把低分辨率图像复原为高分辨率图像的方法,参见机器之心文章《学界 | 谷歌新论文提出像素递归超分辨率:利用神经网络消灭低分辨率图像马赛克》。与最先进的方法相比,这篇论文提出了一种端到端的框架来完成超分辨率任务。它由两个卷积神经网络组成,一个是描述低分辨率图像骨架的优先网络(prior network),一个是用于优化细节特征的调节网络(conditioning network)。这种方法强调了细节特征恢复上的提升,并以概率范式(probabilistic paradigm)的形式提升了其理论。机器之心在本文中对相关研究《Pixel Recursive Super Resolu
501 0
谷歌像素递归超分辨率研究:怎么消灭低分辨率图像马赛克

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等