SISR深度学习主要方法简述

简介: SISR深度学习主要方法简述

前言

参考:单幅图像超分辨重建的深度学习方法综述


1、上采样方法介绍

方法分类 方法名称 方法描述
基于插值的上采样方法 最近邻插值 使用距离最近的像素点的值进行插值操作
双线性插值 沿着图像的一个方向进行插值,然后再沿着另一个方向进行插值。插值的结果与先进行哪个方向的插值无关
双立方插值 使用的插值函数为三次多项式,也是进行图像两个方向的插值操作
基于学习的上采样方法 转置卷积 也成为反卷积,卷积核大小为3x3,步长为1,并使用0进行填充的卷积操作
亚像素卷积 通过卷积操作得到多个通道的特征图,然后对特征图进行重新排列,在多个通道之间重组,从而放大图像的尺寸

2、SISR深度学习主要方法

网络名称 发表时间 网络模型 损失函数 上采样方法 上采样框架 适用场景 改进点
SRCNN 2014,ECCV 线性网络 L2 双三次插值 预上采样 实景图像 首次提出将深度学习引入超分辨领域,提高重建质量
SCN 2015,ICCV 线性网络 L2 双三次插值 预上采样 实景图像 在深度卷积网络中加入稀疏表示先验信息
FSRCNN 2016,CVPR 线性网络 L2 转置卷积 后上采样 实景图像 较SRCNN提升算法处理速度
ESPCN 2016,CVPR 线性网络 L2  亚像素卷积 预上采样 实景图像 较SRCNN提升算法效率
VDSR 2016,CVPR 残差网络 MSE 双三次插值 后上采样 实景图像 运用残差学习加深网络层数,同时可处理多尺度SR问题
LapSRN 2017,CVPR 残差网络 Char损失函数 亚像素卷积 逐步上采样 实景图像 通过逐步上采样、逐级残差和自身损失函数监督,提升算法速度以及重建效果
EDSR 2017,CVPRW 残差网络 L1 亚像素卷积 后上采样 实景图像 去除BN加快运行速度,加深网络深度
MSRN 2018,ECCV 残差网络

L1

亚像素卷积 后上采样 实景图像 运用多尺度残差网络提升算法效率
DRCN 2016,CVPR 残差、递归网络 L2 双三次插值 预上采样 实景图像 运用递归网络增大网络感受野,从而提升网络性能
DRRN 2017,CVPR 残差、递归网络 L2 双三次插值 预上采样 实景图像 运用局部多尺度和全局残差学习,减少参数并提升重建性能
SRFBN 2019,CVPR 残差、递归、稠密网络 L1 转置卷积 后上采样 实景图像 引入反馈机制的循环神经网络,从而提升重建效果
SRDenseNet 2017,ICCV 密集网络 L2 亚像素卷积 后上采样 实景图像 运用密集连接加强特征传播,减少参数数量,减轻梯度消失
RDN 2018,CVPR 密集、残差网络 L1 亚像素卷积 后上采样 实景图像 将残差、密集学习结合,客观指标和主观效果有所提升
SelNet 2017,CVPRW 残差网络、注意力机制 L2 双三次插值 后上采样 实景图像 使用选择单元允许特定值向下传递,提升重建效果
RCAN 2018,ECCV 残差网络、注意力机制 L1 亚像素卷积 后上采样 实景图像 将通道注意力机制引入网络,捕捉更重要的通道信息,从而提升重建效果
SAN 2019,CVPR 残差网络、注意力机制 L1 亚像素卷积 后上采样 实景图像 使用二阶通道注意力机制,更好的长距离空间内容信息
TTSR 2020,CVPR 残差网络、注意力机制 L1、对抗、感知损失 亚像素卷积 后上采样 实景图像 使用硬注意力机制进行纹理迁移,使用软注意力机制进行纹理合成
SRGAN 2017,CVPR 生成对抗网络 对抗、感知损失 亚像素卷积 后上采样 实景图像 最早使用GAN网络进行图像超分辨,在主观视觉效果上提升明显
ESRGAN 2018,ECCVW 生成对抗网络 L1、对抗、感知损失 亚像素卷积 后上采样 实景图像 相较于SRGAN,生成器去掉BN、判别器对损失函数做出改进,提升重建效果
SPSR 2020,CVPR 生成对抗网络 L1、对抗、感知、梯度损失 亚像素卷积 后上采样 实景图像 基于GAN网络的方法,考虑保持图像内部的几何结构


目录
相关文章
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
55 2
|
机器学习/深度学习 资源调度 监控
深度学习基础入门篇[六]:模型调优,学习率设置(Warm Up、loss自适应衰减等),batch size调优技巧,基于方差放缩初始化方法。
深度学习基础入门篇[六]:模型调优,学习率设置(Warm Up、loss自适应衰减等),batch size调优技巧,基于方差放缩初始化方法。
|
5月前
|
机器学习/深度学习 移动开发 自然语言处理
深度学习的优化方法
深度学习的优化方法
54 0
|
10月前
|
机器学习/深度学习 编解码 自然语言处理
深度学习提高模型准确率方法
深度学习提高模型准确率方法
191 0
|
10月前
|
机器学习/深度学习 传感器 算法
基于深度学习的目标姿态检测方法_kaic
伴随着人工智能技术的发展,物体探测和辨识技术已被广泛用于各个领域,而作为物体探测的一个重要分支,物体姿态探测在机器人控制、自动驾驶等领域中扮演着重要角色。本文的目的在于探究基于单目相机的目标三维姿态检测方法,以实现对目标物体的快速、精确的三维姿态检测和识别,提高目标检测的准确率和效率,并为人工智能技术的发展提供新的思路和方法。 本文系统地介绍了基于单目相机的三维目标检测技术,并详细讨论了基于深度学习的单阶段目标检测算法,即YOLOv5算法。具体来说,本文采用YOLOv5算法搭建神经网络模型,在KITTI数据集构建训练集后对模型进行训练,再采集部分环境照片以及KITTI数据的部分照片构建测试集.
|
10月前
|
机器学习/深度学习 存储 缓存
深度学习应用篇-计算机视觉-视频分类8:时间偏移模块(TSM)、TimeSformer无卷积视频分类方法、注意力机制
深度学习应用篇-计算机视觉-视频分类8:时间偏移模块(TSM)、TimeSformer无卷积视频分类方法、注意力机制
深度学习应用篇-计算机视觉-视频分类8:时间偏移模块(TSM)、TimeSformer无卷积视频分类方法、注意力机制
|
10月前
|
机器学习/深度学习 人工智能 文字识别
深度学习应用篇-计算机视觉-OCR光学字符识别[7]:OCR综述、常用CRNN识别方法、DBNet、CTPN检测方法等、评估指标、应用场景
深度学习应用篇-计算机视觉-OCR光学字符识别[7]:OCR综述、常用CRNN识别方法、DBNet、CTPN检测方法等、评估指标、应用场景
深度学习应用篇-计算机视觉-OCR光学字符识别[7]:OCR综述、常用CRNN识别方法、DBNet、CTPN检测方法等、评估指标、应用场景
|
11月前
|
机器学习/深度学习 人工智能 算法
具有生物启发训练方法的物理深度学习:物理硬件的无梯度方法
具有生物启发训练方法的物理深度学习:物理硬件的无梯度方法
436 0
|
11月前
|
机器学习/深度学习 算法
【深度学习】1、优化方法原理与实践对比——非常详细与全面(二)
【深度学习】1、优化方法原理与实践对比——非常详细与全面(二)
122 0
|
11月前
|
机器学习/深度学习 算法 决策智能
【深度学习】1、优化方法原理与实践对比——非常详细与全面(一)
【深度学习】1、优化方法原理与实践对比——非常详细与全面(一)
112 0