SISR深度学习主要方法简述

简介: SISR深度学习主要方法简述

前言

参考:单幅图像超分辨重建的深度学习方法综述


1、上采样方法介绍

方法分类 方法名称 方法描述
基于插值的上采样方法 最近邻插值 使用距离最近的像素点的值进行插值操作
双线性插值 沿着图像的一个方向进行插值,然后再沿着另一个方向进行插值。插值的结果与先进行哪个方向的插值无关
双立方插值 使用的插值函数为三次多项式,也是进行图像两个方向的插值操作
基于学习的上采样方法 转置卷积 也成为反卷积,卷积核大小为3x3,步长为1,并使用0进行填充的卷积操作
亚像素卷积 通过卷积操作得到多个通道的特征图,然后对特征图进行重新排列,在多个通道之间重组,从而放大图像的尺寸

2、SISR深度学习主要方法

网络名称 发表时间 网络模型 损失函数 上采样方法 上采样框架 适用场景 改进点
SRCNN 2014,ECCV 线性网络 L2 双三次插值 预上采样 实景图像 首次提出将深度学习引入超分辨领域,提高重建质量
SCN 2015,ICCV 线性网络 L2 双三次插值 预上采样 实景图像 在深度卷积网络中加入稀疏表示先验信息
FSRCNN 2016,CVPR 线性网络 L2 转置卷积 后上采样 实景图像 较SRCNN提升算法处理速度
ESPCN 2016,CVPR 线性网络 L2  亚像素卷积 预上采样 实景图像 较SRCNN提升算法效率
VDSR 2016,CVPR 残差网络 MSE 双三次插值 后上采样 实景图像 运用残差学习加深网络层数,同时可处理多尺度SR问题
LapSRN 2017,CVPR 残差网络 Char损失函数 亚像素卷积 逐步上采样 实景图像 通过逐步上采样、逐级残差和自身损失函数监督,提升算法速度以及重建效果
EDSR 2017,CVPRW 残差网络 L1 亚像素卷积 后上采样 实景图像 去除BN加快运行速度,加深网络深度
MSRN 2018,ECCV 残差网络

L1

亚像素卷积 后上采样 实景图像 运用多尺度残差网络提升算法效率
DRCN 2016,CVPR 残差、递归网络 L2 双三次插值 预上采样 实景图像 运用递归网络增大网络感受野,从而提升网络性能
DRRN 2017,CVPR 残差、递归网络 L2 双三次插值 预上采样 实景图像 运用局部多尺度和全局残差学习,减少参数并提升重建性能
SRFBN 2019,CVPR 残差、递归、稠密网络 L1 转置卷积 后上采样 实景图像 引入反馈机制的循环神经网络,从而提升重建效果
SRDenseNet 2017,ICCV 密集网络 L2 亚像素卷积 后上采样 实景图像 运用密集连接加强特征传播,减少参数数量,减轻梯度消失
RDN 2018,CVPR 密集、残差网络 L1 亚像素卷积 后上采样 实景图像 将残差、密集学习结合,客观指标和主观效果有所提升
SelNet 2017,CVPRW 残差网络、注意力机制 L2 双三次插值 后上采样 实景图像 使用选择单元允许特定值向下传递,提升重建效果
RCAN 2018,ECCV 残差网络、注意力机制 L1 亚像素卷积 后上采样 实景图像 将通道注意力机制引入网络,捕捉更重要的通道信息,从而提升重建效果
SAN 2019,CVPR 残差网络、注意力机制 L1 亚像素卷积 后上采样 实景图像 使用二阶通道注意力机制,更好的长距离空间内容信息
TTSR 2020,CVPR 残差网络、注意力机制 L1、对抗、感知损失 亚像素卷积 后上采样 实景图像 使用硬注意力机制进行纹理迁移,使用软注意力机制进行纹理合成
SRGAN 2017,CVPR 生成对抗网络 对抗、感知损失 亚像素卷积 后上采样 实景图像 最早使用GAN网络进行图像超分辨,在主观视觉效果上提升明显
ESRGAN 2018,ECCVW 生成对抗网络 L1、对抗、感知损失 亚像素卷积 后上采样 实景图像 相较于SRGAN,生成器去掉BN、判别器对损失函数做出改进,提升重建效果
SPSR 2020,CVPR 生成对抗网络 L1、对抗、感知、梯度损失 亚像素卷积 后上采样 实景图像 基于GAN网络的方法,考虑保持图像内部的几何结构


目录
相关文章
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
603 2
|
机器学习/深度学习 数据可视化 网络架构
增强深度学习模型的可解释性和泛化能力的方法研究
【8月更文第15天】在深度学习领域,模型的准确率和预测能力是衡量模型好坏的重要指标。然而,随着模型复杂度的增加,它们往往变得越来越难以理解,这限制了模型在某些关键领域的应用,例如医疗诊断、金融风险评估等。本文将探讨如何通过几种方法来增强深度学习模型的可解释性,同时保持或提高模型的泛化能力。
1476 2
|
机器学习/深度学习 并行计算 算法
深度学习中的自动化超参数优化方法探究
传统的深度学习模型优化通常依赖于人工调整超参数,这一过程繁琐且耗时。本文探讨了当前流行的自动化超参数优化方法,包括贝叶斯优化、遗传算法和进化策略等,分析它们在提高模型效率和性能方面的应用与挑战。
|
机器学习/深度学习 算法 数据可视化
【从零开始学习深度学习】46. 目标检测中锚框的概念、计算方法、样本锚框标注方式及如何选取预测边界框
【从零开始学习深度学习】46. 目标检测中锚框的概念、计算方法、样本锚框标注方式及如何选取预测边界框
|
机器学习/深度学习 调度 计算机视觉
深度学习中的学习率调度:循环学习率、SGDR、1cycle 等方法介绍及实践策略研究
本文探讨了多种学习率调度策略在神经网络训练中的应用,强调了选择合适学习率的重要性。文章介绍了阶梯式衰减、余弦退火、循环学习率等策略,并分析了它们在不同实验设置下的表现。研究表明,循环学习率和SGDR等策略在提高模型性能和加快训练速度方面表现出色,而REX调度则在不同预算条件下表现稳定。这些策略为深度学习实践者提供了实用的指导。
655 2
深度学习中的学习率调度:循环学习率、SGDR、1cycle 等方法介绍及实践策略研究
|
机器学习/深度学习 监控 数据可视化
深度学习中实验、观察与思考的方法与技巧
在深度学习中,实验、观察与思考是理解和改进模型性能的关键环节。
365 5
|
机器学习/深度学习 编解码 监控
算法金 | 深度学习图像增强方法总结
**图像增强技术概括** 图像增强聚焦于提升视觉效果和细节,广泛应用于医学、遥感等领域。空间域增强包括直方图均衡化(增强对比度)、对比度拉伸、灰度变换、平滑滤波(均值、中值)和锐化滤波(拉普拉斯、高通)。频率域增强利用傅里叶变换、小波变换,通过高频和低频滤波增强图像特征。现代方法涉及超分辨率重建、深度学习去噪(如CNN、Autoencoder)、图像修复(如GAN)和GANs驱动的多种图像处理任务。
931 14
算法金 | 深度学习图像增强方法总结
|
机器学习/深度学习 存储 人工智能
深度学习中的模型压缩技术在人工智能领域,深度学习技术的迅猛发展带来了巨大的计算资源需求。为了解决这一问题,模型压缩技术应运而生。本文将介绍什么是模型压缩、常见的模型压缩方法以及其在实际应用中的意义。
随着深度学习技术的广泛应用,计算资源的需求也大幅增加。为减少资源消耗,提升模型效率,模型压缩技术成为研究热点。本文探讨了模型压缩的定义、主流方法和其重要性。通过量化、剪枝、知识蒸馏和轻量级架构等策略,模型得以在保持性能的同时减小体积,从而适用于资源受限的环境。这些技术不仅降低了计算成本,还推动了深度学习在移动设备和边缘计算等领域的应用,使AI技术更加普及和实用。总之,模型压缩在平衡模型性能与资源消耗之间发挥着关键作用,是未来AI发展的重要方向。
|
机器学习/深度学习
数百万晶体数据训练、解决晶体学相位问题,深度学习方法PhAI登Science
【9月更文挑战第5天】近期,《科学》杂志报道了一项名为PhAI的深度学习技术,在晶体学相位问题上取得重要突破。相位问题旨在确定晶体中分子或原子的位置与方向,对理解其物理化学特性至关重要。PhAI通过数百万晶体数据训练,能高效准确地解决这一难题,有望大幅提升研究效率,加速新材料和药物的设计。但其准确性及对未知结构处理能力仍面临挑战。论文详情参见:https://www.science.org/doi/10.1126/science.adn2777。
276 1
|
机器学习/深度学习 PyTorch TensorFlow
Python实现深度学习学习率指数衰减的方法与参数介绍
学习率指数衰减提供了一种高效的动态调整学习率的手段,帮助模型在不同训练阶段以不同的学习速度优化,有利于提升模型性能和训练效率。通过合理设置衰减策略中的参数,可以有效地控制学习率的衰减过程,实现更加精确的模型训练调优。
666 0