超分数据集概述和超分经典网络模型总结

简介: 超分数据集概述和超分经典网络模型总结

前言

参考论文:A Review of Single Image Super-Resolution Reconstruction Based on Deep Learning


一、常用数据集概述

      现有的数据集主要分为两种类型

1、只采集HR图像的数据集,如DIV2K,DIV8K等数据集,对于此类数据集可采用不同的退化方式获取相应的LR图像,从而构造匹配的LR-HR训练图像对,以这种方式获得的训练数据集一般被称为合成数据集。

2、直接采集同一场景不同分辨率的图像,从而获取LR-HR图像对的数据集,如RealSR,DRealSR等数据集,这类训练数据集一般被称为真实数据集。

相较于合成数据集,真实数据集通常具有更真实的退化过程,适用于真实场景图像的超分辨率重建. 但真实数据集的构建存在一定难度,如真实数据集直接采集到的LR-HR图像对通常是不匹配的,需要进行严格的配准操作才能得到具有相同视场且可用于训练的LR-HR图像对,且真实世界图像的退化核会随着景深的变化而变化,通常是不均匀的,往往需要根据实际情况采取不同的策略再进行超分辨率重建。

图像超分辨率重建常用数据集概述

数据集名称 图像数量/张 合成/真实数据集(训练集/验证集/测试集) 图像格式 图像内容
T91 91 合成数据集(训练集) PNG 包括动植物、人、车等局部纹理图像
Timofte 110 合成数据集(训练集) PNG 包括T91,Set15和Set14三个数据集的图像
291-images 291 合成数据集(训练集) PNG,JPG 包括T91和BSD两个数据集的图像
General-100 100 合成数据集(训练集) BMP 包括建筑纹理、动植物、人、食物、日用品等图像
MSCOCO 328 000 合成数据集(训练集) JPG 包括91种易识别物体类型在自然环境中的复杂日常场景的图像
ImageNet 3200 000 合成数据集(训练集) JPG 包括动植物、交通工具、家具、乐器、地质构造、工具等图像
DIV2K 1 000 合成数据集(800张训练集、100张验证集、100张测试集) PNG 包括人、手工艺品、环境(城市、村庄)、动植物、自然风景等图像
Flickr2K 2650 合成数据集(训练集) PNG 包括人、车、动植物、食物、建筑和风景等图像
DF2K 3450 合成数据集(训练集) PNG 包括DIV2K和Flickr2K两个数据集的图像
DPED 5827 真实数据集(5614张训练集、113张验证集、100张测试集) PNG 包括各种道路交通场景(建筑、植物、道路等)等图像
OutdoorScene(OST) 10624 合成数据集(10324张数据集、300张测试集,即OST300) PNG 包括动物、建筑、草、山、植物、天空和水等7类纹理丰富的图像
DIV8K 1504 真实数据集(1304张训练集、100张验证集、100张测试集) PNG 包括人、动物、建筑和风景等各种场景和物体的图像
RealSR 595 真实数据集(550张训练集、45张测试集) PNG 包括建筑、风景、动植物、海报、物体等纹理丰富的室内外场景图像
DRealSR

88(x2)

78(x3)

84(x4)

真实数据集(对于尺度因子2,3,4分别用83,84,93张图像进行测试,其余用于训练) PNG 包括广告海报、植物、办公室、建筑物、等室内外场景的图像
Set5 5 合成数据集(测试集) PNG 包括婴儿、鸟、蝴蝶、头部和女士等5张图像
Set14 14 合成数据集(测试集) PNG 包括动植物、风景(船和桥)、PPT和人等图像
Berkeley Segmentation Dataset(BSD)/BSD500 500 合成数据及(测试集) PNG 包括动物、建筑、食物、风景、人和植物等图像,BSD100和BSD300分别是BSD500中常用的100或300张图片
Urban100 100 合成数据集(测试集) PNG 包括不同类型的建筑图像
Manga109 109 合成数据集(测试集) PNG 包括来自日本漫画书的图像
PIRM 200 合成数据集(100张验证集、100张测试集) PNG 包括人、物、环境、植物、自然风景等图像
DIV2KRK 100 合成数据集(测试集) PNG 包括对DIV2K验证集的100张图像进行更复杂退化操作的图像
DIV2K4D 400 合成数据集(测试集) PNG 包括对100张DIV2K验证集采取四种退化的图像

二、经典网络模型总结

LR图像获取方式:Bi⁃cubic表示双三次下采样,B表示模糊核,GB表示高斯模糊核,N表示噪声,GN表示高斯噪声,J表示JPEG压缩. 由于数据增强能够扩大数据容量,减少迭代次数,并在一定程度上提升网络性能,所以许多网络模型常通过随机翻转、旋转和缩放等操作对数据集进行数据增强.

基于深度学习的单帧图像超分辨率重建典型网络模型总结

网络名称--发表时间(类型) 网络框架(上采样方法) 训练集

LR图像获取方式

数据增强 测试集 损失函数 评价指标
SRCNN--2014(基于S-CNN) 预上采样(双三次插值) 91-images,ImageNet Bicubic+GB —— Set5,Set14 L2 PSNR,SSIM,runtime
FSRCNN--2016(基于S-CNN) 后上采样(反卷积) 91-images,General-100 下采样 缩放、旋转 Set5,Set14,BSD200 L2 PSNR,SSIM,IFC,runtime
ESPCN--2016(基于S-CNN) 后上采样(亚像素卷积) ImageNet 下采样+GB —— 91-images,Set5,Set14,BSD300,BSD500,super texture L2 PSNR,runtime
VDSR--2016(基于ResNet) 预上采样(双三次插值) 291-images 下采样 旋转、翻转 Set5,Set14,Urban100,B100 L2 PSNR,SSIM,runtime
RED-Net--2016(基于ResNet) 预上采样(双三次插值) BSD300 下采样 旋转、翻转 Set5,Set14,BSD100 L2 PSNR,SSIM
DRCN--2016(基于RNN) 预上采样(双三次插值) 91-images 下采样 —— Set5,Set14,B100,Urban100 L2 PSNR,SSIM
LapSRN--2017(基于ResNet) 渐进式上采样(转置卷积) 291-images Bicubic 翻转、旋转 Set5,Set14,B100,Urban100,DIV2K

LCharbonnier 

PSNR,SSIM,IFC

EDSR--2017(基于ResNet) 后上采样(亚像素卷积) DIV2K Bicubic 翻转、旋转 Set5,Set14,B100,Urban100,DIV2K L1 PSNR,SSIM
DRRN--2017(基于RNN) 预上采样(双三次插值) 291-images 下采样 翻转、旋转 Set5,Set14,BSD100,Urban100 L2 PSNR,SSIM,IFC
SRDenseNet--2017(基于DenseNet) 后上采样(反卷积) ImageNet Bicubic —— Set5,Set14,B100,Urban100 L2 PSNR,SSIM
MemNet--2017(基于DenseNet) 预上采样(双三次插值) 291-images Bicubic 翻转、旋转 Set5,Set14,BSD100,Urban100 L2 PSNR,SSIM
SRGAN--2017(基于GAN) 后上采样(亚像素卷积) ImageNet Bicubic —— Set5,Set14,BSD100 Lpercep,LGAN PSNR,SSIM,MOS
EnhanceNet--2017(基于GAN) 后上采样(最近邻插值) MSCOCO Bicubic —— Set5,Set14,BSD100,Urban100

Lpercep,LGAN,Ltexture

PSNR,SSIM,IFC,MOS
DBPN--2018(基于ResNet) 迭代式上下采样(反卷积) DIV2K,Flickr2K,ImageNet Bicubic —— Set5,Set14,BSDS100,Urban100,Manga109 L2 PSNR,SSIM
MSRN--2018(基于ResNet) 后上采样(亚像素卷积) DIV2K Bicubic 缩放、旋转、翻转 Set5,Set14,B100,Urban100,Manga109 L1 PSNR,SSIM
RCAN--2018(基于AM) 后上采样(亚像素卷积) DIV2K

①Bicubic

②模糊下采样

旋转、翻转 Set5,Set14,B100,Urban100,Manga109 L1 PSNR,SSIM
ESRGAN--2018(基于GAN) 后上采样(最近邻插值) DIV2K,Flickr2K,OST Bicubic 翻转、旋转 Set5,Set14,BSD100,Urban100,PIRM Lpercep,LGAN,L1 PSNR,PI
LP-KPN--2019(基于ResNet) 渐进式上采样(shuffle upsample)

RealSR

—— 旋转、翻转 RealSR L2 PSNR,SSIM
SRFBN--2019(基于RNN) 后上采样(反卷积) DIV2K,Flickr2K

①Bicubic

②下采样+GB

③Bicubic+GN

翻转、旋转 Set5,Set14,B100,Urban100,Manga109 L1 PSNR,SSIM
Meta-SR--2019(基于DenseNet) 后上采样(元上采样) DIV2K 下采样 翻转、旋转

Set14,B100,Manga109,DIV2K

L1

PSNR,SSIM

SAN--2019(基于AM) 后上采样(亚像素卷积) DIV2K

①Bicubic

②模糊下采样

旋转、翻转 Set5,Set14,BSD100,Urban100,Manga109 L1 PSNR,SSIM

DAN--2020(基于ResNet)

后上采样(亚像素卷积) DIV2K,Flickr2K

①GB+下采样

②GB(旋转、噪声、归一化)+下采样

——

①Set5,Set14,Urban100,BSD100,Manga109

②DIV2KRK

L1 PSNR,SSIM
HDRN--2020(基于DenseNet) 后上采样(亚像素卷积) DIV2K Bicubic 翻转、旋转 Set5,Set14,BSD100,Urban100,Manga109,Jilin-1 satellite imagery, Kaggle LCharbonnier PSNR,SSIM
CDC-2020(基于AM) 渐进式上采样(亚像素卷积) RealSR,DRealSR —— —— RealSR,DRealSR

LGW(L1)

PSNR,SSIM,LPIPS

RealSR--2020(无监督式) 后上采样(最近邻插值)

①DF2K

②DPED

无监督式

退化模型

——

①DF2K

②DPED

L1,Lpercep,LGAN

①PSNR,SSIM,LPIPS

②MOR

RFB-ESRGAN--2020(基于GAN) 后上采样(交替使用最近邻插值和亚像素卷积)

DIV8K,DIV2K,Flickr2K,OST

Bicubic 翻转、旋转 DIV8K L1,LVGG,LGAN PSNR,SSIM,LPIPS,PI
CRN--2021(基于ResNet) 后上采样(亚像素卷积) DIV2K Bicubic —— Set5,Set14,B100,Urban100 L1 PSNR,SSIM
SMSR--2021(基于LN) 后上采样(亚像素卷积+双三次插值) DIV2K 下采样 旋转、翻转 Set5,Set14,B100,Urban100,Manga109

L1,Lreg

PSNR,SSIM,Params,FlOPS

BSRGAN--2021(基于GAN) 后上采样(最近邻插值) DIV2K,Flickr2K,WED,FFHQ B+下采样+N ——

①合成的DIV2K4D,

②真实的RealSRSet

L1,Lpercep,LPatchGAN

①PSNR,LPIPS

②NIQE,NRQM,PI

Real-ESRGAN--2021(基于GAN)

后上采样(最近邻插值) DIV2K,Flickr2K,OST

Bicubic+B+N+J

—— RealSR,DRealSR,OST300,DPED,ADE20K L1,Lpercep,LGAN 视觉效果
IPT--2021(基于Transformer) —— ImageNet Bicubic —— Set5,Set14,B100,Urban100 L1,Lcontrastive PSNR
SwinIR--2021(基于Transformer) 后上采样(亚像素卷积) DIV2K,Flickr2K

①Bicubic

②B+下采样+N

—— Set5,Set14,Urban100,BSD100,Manga109

①L1

②L1,LGAN,Lpercep

PSNR,SSIM,Params,Mult-Adds


目录
相关文章
|
3天前
|
网络协议 算法 Java
【Java网络编程】网络编程概述、UDP通信(DatagramPacket 与 DatagramSocket)
【Java网络编程】网络编程概述、UDP通信(DatagramPacket 与 DatagramSocket)
17 3
|
2天前
|
机器学习/深度学习 数据可视化 PyTorch
使用Python实现深度学习模型:生成对抗网络(GAN)
使用Python实现深度学习模型:生成对抗网络(GAN)
18 3
|
3天前
|
Linux 开发工具
【项目--Hi3559A】如何在Hi3559A上运行自己的yolov3模型(修改类别、网络结构)
【项目--Hi3559A】如何在Hi3559A上运行自己的yolov3模型(修改类别、网络结构)
9 0
|
3天前
|
机器学习/深度学习 自然语言处理 网络安全
【pkuseg】由于网络策略组织下载请求,因此直接在github中下载细分领域模型medicine
【pkuseg】由于网络策略组织下载请求,因此直接在github中下载细分领域模型medicine
7 1
|
3天前
|
网络协议 物联网 网络架构
计算机网络:计算机网络概述
计算机网络:计算机网络概述
43 3
|
3天前
|
安全 网络协议 网络架构
【网络技术设备安全】BGP 基础与概述-2-中转 AS 中的 IBGP 路由传递
【网络技术设备安全】BGP 基础与概述-2-中转 AS 中的 IBGP 路由传递
【网络技术设备安全】BGP 基础与概述-2-中转 AS 中的 IBGP 路由传递
|
3天前
|
网络协议 网络虚拟化 网络架构
【网络技术】BGP 基础与概述
【网络技术】BGP 基础与概述
【网络技术】BGP 基础与概述
|
3天前
|
机器学习/深度学习 数据可视化 算法
R语言神经网络与决策树的银行顾客信用评估模型对比可视化研究
R语言神经网络与决策树的银行顾客信用评估模型对比可视化研究
|
3天前
|
机器学习/深度学习 数据可视化 数据挖掘
R语言神经网络模型金融应用预测上证指数时间序列可视化
R语言神经网络模型金融应用预测上证指数时间序列可视化
|
3天前
|
机器学习/深度学习 数据可视化 算法
SPSS Modeler决策树和神经网络模型对淘宝店铺服装销量数据预测可视化|数据分享
SPSS Modeler决策树和神经网络模型对淘宝店铺服装销量数据预测可视化|数据分享

热门文章

最新文章