前言
参考论文：A Review of Single Image Super-Resolution Reconstruction Based on Deep Learning
一、常用数据集概述
现有的数据集主要分为两种类型
1、只采集HR图像的数据集，如DIV2K，DIV8K等数据集，对于此类数据集可采用不同的退化方式获取相应的LR图像，从而构造匹配的LR-HR训练图像对，以这种方式获得的训练数据集一般被称为合成数据集。
2、直接采集同一场景不同分辨率的图像，从而获取LR-HR图像对的数据集，如RealSR，DRealSR等数据集，这类训练数据集一般被称为真实数据集。
相较于合成数据集，真实数据集通常具有更真实的退化过程，适用于真实场景图像的超分辨率重建. 但真实数据集的构建存在一定难度，如真实数据集直接采集到的LR-HR图像对通常是不匹配的，需要进行严格的配准操作才能得到具有相同视场且可用于训练的LR-HR图像对，且真实世界图像的退化核会随着景深的变化而变化，通常是不均匀的，往往需要根据实际情况采取不同的策略再进行超分辨率重建。
图像超分辨率重建常用数据集概述
| 数据集名称 | 图像数量/张 | 合成/真实数据集（训练集/验证集/测试集） | 图像格式 | 图像内容 |
| T91 | 91 | 合成数据集（训练集） | PNG | 包括动植物、人、车等局部纹理图像 |
| Timofte | 110 | 合成数据集（训练集） | PNG | 包括T91，Set15和Set14三个数据集的图像 |
| 291-images | 291 | 合成数据集（训练集） | PNG，JPG | 包括T91和BSD两个数据集的图像 |
| General-100 | 100 | 合成数据集（训练集） | BMP | 包括建筑纹理、动植物、人、食物、日用品等图像 |
| MSCOCO | 328 000 | 合成数据集（训练集） | JPG | 包括91种易识别物体类型在自然环境中的复杂日常场景的图像 |
| ImageNet | 3200 000 | 合成数据集（训练集） | JPG | 包括动植物、交通工具、家具、乐器、地质构造、工具等图像 |
| DIV2K | 1 000 | 合成数据集（800张训练集、100张验证集、100张测试集） | PNG | 包括人、手工艺品、环境（城市、村庄）、动植物、自然风景等图像 |
| Flickr2K | 2650 | 合成数据集（训练集） | PNG | 包括人、车、动植物、食物、建筑和风景等图像 |
| DF2K | 3450 | 合成数据集（训练集） | PNG | 包括DIV2K和Flickr2K两个数据集的图像 |
| DPED | 5827 | 真实数据集（5614张训练集、113张验证集、100张测试集） | PNG | 包括各种道路交通场景（建筑、植物、道路等）等图像 |
| OutdoorScene(OST) | 10624 | 合成数据集（10324张数据集、300张测试集，即OST300） | PNG | 包括动物、建筑、草、山、植物、天空和水等7类纹理丰富的图像 |
| DIV8K | 1504 | 真实数据集（1304张训练集、100张验证集、100张测试集） | PNG | 包括人、动物、建筑和风景等各种场景和物体的图像 |
| RealSR | 595 | 真实数据集（550张训练集、45张测试集） | PNG | 包括建筑、风景、动植物、海报、物体等纹理丰富的室内外场景图像 |
| DRealSR | 88（x2） 78（x3） 84（x4） |
真实数据集（对于尺度因子2，3，4分别用83，84，93张图像进行测试，其余用于训练） | PNG | 包括广告海报、植物、办公室、建筑物、等室内外场景的图像 |
| Set5 | 5 | 合成数据集（测试集） | PNG | 包括婴儿、鸟、蝴蝶、头部和女士等5张图像 |
| Set14 | 14 | 合成数据集（测试集） | PNG | 包括动植物、风景（船和桥）、PPT和人等图像 |
| Berkeley Segmentation Dataset(BSD)/BSD500 | 500 | 合成数据及（测试集） | PNG | 包括动物、建筑、食物、风景、人和植物等图像，BSD100和BSD300分别是BSD500中常用的100或300张图片 |
| Urban100 | 100 | 合成数据集（测试集） | PNG | 包括不同类型的建筑图像 |
| Manga109 | 109 | 合成数据集（测试集） | PNG | 包括来自日本漫画书的图像 |
| PIRM | 200 | 合成数据集（100张验证集、100张测试集） | PNG | 包括人、物、环境、植物、自然风景等图像 |
| DIV2KRK | 100 | 合成数据集（测试集） | PNG | 包括对DIV2K验证集的100张图像进行更复杂退化操作的图像 |
| DIV2K4D | 400 | 合成数据集（测试集） | PNG | 包括对100张DIV2K验证集采取四种退化的图像 |
二、经典网络模型总结
LR图像获取方式：Bi⁃cubic表示双三次下采样，B表示模糊核，GB表示高斯模糊核，N表示噪声，GN表示高斯噪声，J表示JPEG压缩. 由于数据增强能够扩大数据容量，减少迭代次数，并在一定程度上提升网络性能，所以许多网络模型常通过随机翻转、旋转和缩放等操作对数据集进行数据增强.
基于深度学习的单帧图像超分辨率重建典型网络模型总结
| 网络名称--发表时间（类型） | 网络框架（上采样方法） | 训练集 | LR图像获取方式 |
数据增强 | 测试集 | 损失函数 | 评价指标 |
| SRCNN--2014（基于S-CNN） | 预上采样（双三次插值） | 91-images，ImageNet | Bicubic+GB | —— | Set5，Set14 | L2 | PSNR，SSIM，runtime |
| FSRCNN--2016（基于S-CNN） | 后上采样（反卷积） | 91-images，General-100 | 下采样 | 缩放、旋转 | Set5，Set14，BSD200 | L2 | PSNR，SSIM，IFC，runtime |
| ESPCN--2016（基于S-CNN） | 后上采样（亚像素卷积） | ImageNet | 下采样+GB | —— | 91-images，Set5，Set14，BSD300，BSD500，super texture | L2 | PSNR，runtime |
| VDSR--2016（基于ResNet） | 预上采样（双三次插值） | 291-images | 下采样 | 旋转、翻转 | Set5，Set14，Urban100，B100 | L2 | PSNR，SSIM，runtime |
| RED-Net--2016（基于ResNet） | 预上采样（双三次插值） | BSD300 | 下采样 | 旋转、翻转 | Set5，Set14，BSD100 | L2 | PSNR，SSIM |
| DRCN--2016（基于RNN） | 预上采样（双三次插值） | 91-images | 下采样 | —— | Set5，Set14，B100，Urban100 | L2 | PSNR，SSIM |
| LapSRN--2017（基于ResNet） | 渐进式上采样（转置卷积） | 291-images | Bicubic | 翻转、旋转 | Set5，Set14，B100，Urban100，DIV2K | LCharbonnier |
PSNR，SSIM，IFC |
| EDSR--2017（基于ResNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | 翻转、旋转 | Set5，Set14，B100，Urban100，DIV2K | L1 | PSNR，SSIM |
| DRRN--2017（基于RNN） | 预上采样（双三次插值） | 291-images | 下采样 | 翻转、旋转 | Set5，Set14，BSD100，Urban100 | L2 | PSNR，SSIM，IFC |
| SRDenseNet--2017（基于DenseNet） | 后上采样（反卷积） | ImageNet | Bicubic | —— | Set5，Set14，B100，Urban100 | L2 | PSNR，SSIM |
| MemNet--2017（基于DenseNet） | 预上采样（双三次插值） | 291-images | Bicubic | 翻转、旋转 | Set5，Set14，BSD100，Urban100 | L2 | PSNR，SSIM |
| SRGAN--2017（基于GAN） | 后上采样（亚像素卷积） | ImageNet | Bicubic | —— | Set5，Set14，BSD100 | Lpercep，LGAN | PSNR，SSIM，MOS |
| EnhanceNet--2017（基于GAN） | 后上采样（最近邻插值） | MSCOCO | Bicubic | —— | Set5，Set14，BSD100，Urban100 | Lpercep，LGAN，Ltexture |
PSNR，SSIM，IFC，MOS |
| DBPN--2018（基于ResNet） | 迭代式上下采样（反卷积） | DIV2K，Flickr2K，ImageNet | Bicubic | —— | Set5，Set14，BSDS100，Urban100，Manga109 | L2 | PSNR，SSIM |
| MSRN--2018（基于ResNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | 缩放、旋转、翻转 | Set5，Set14，B100，Urban100，Manga109 | L1 | PSNR，SSIM |
| RCAN--2018（基于AM） | 后上采样（亚像素卷积） | DIV2K | ①Bicubic ②模糊下采样 |
旋转、翻转 | Set5，Set14，B100，Urban100，Manga109 | L1 | PSNR，SSIM |
| ESRGAN--2018（基于GAN） | 后上采样（最近邻插值） | DIV2K，Flickr2K，OST | Bicubic | 翻转、旋转 | Set5，Set14，BSD100，Urban100，PIRM | Lpercep，LGAN，L1 | PSNR，PI |
| LP-KPN--2019（基于ResNet） | 渐进式上采样（shuffle upsample） | RealSR |
—— | 旋转、翻转 | RealSR | L2 | PSNR，SSIM |
| SRFBN--2019（基于RNN） | 后上采样（反卷积） | DIV2K，Flickr2K | ①Bicubic ②下采样+GB ③Bicubic+GN |
翻转、旋转 | Set5，Set14，B100，Urban100，Manga109 | L1 | PSNR，SSIM |
| Meta-SR--2019（基于DenseNet） | 后上采样（元上采样） | DIV2K | 下采样 | 翻转、旋转 | Set14,B100,Manga109,DIV2K |
L1 |
PSNR，SSIM |
| SAN--2019（基于AM） | 后上采样（亚像素卷积） | DIV2K | ①Bicubic ②模糊下采样 |
旋转、翻转 | Set5，Set14，BSD100，Urban100，Manga109 | L1 | PSNR，SSIM |
DAN--2020（基于ResNet） |
后上采样（亚像素卷积） | DIV2K，Flickr2K | ①GB+下采样 ②GB（旋转、噪声、归一化）+下采样 |
—— | ①Set5，Set14，Urban100，BSD100，Manga109 ②DIV2KRK |
L1 | PSNR，SSIM |
| HDRN--2020（基于DenseNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | 翻转、旋转 | Set5，Set14，BSD100，Urban100，Manga109，Jilin-1 satellite imagery， Kaggle | LCharbonnier | PSNR，SSIM |
| CDC-2020（基于AM） | 渐进式上采样（亚像素卷积） | RealSR，DRealSR | —— | —— | RealSR，DRealSR | LGW(L1) |
PSNR,SSIM,LPIPS |
| RealSR--2020（无监督式） | 后上采样（最近邻插值） | ①DF2K ②DPED |
无监督式 退化模型 |
—— | ①DF2K ②DPED |
L1，Lpercep，LGAN | ①PSNR，SSIM，LPIPS ②MOR |
| RFB-ESRGAN--2020（基于GAN） | 后上采样（交替使用最近邻插值和亚像素卷积） | DIV8K，DIV2K，Flickr2K，OST |
Bicubic | 翻转、旋转 | DIV8K | L1，LVGG，LGAN | PSNR，SSIM，LPIPS，PI |
| CRN--2021（基于ResNet） | 后上采样（亚像素卷积） | DIV2K | Bicubic | —— | Set5，Set14，B100，Urban100 | L1 | PSNR，SSIM |
| SMSR--2021（基于LN） | 后上采样（亚像素卷积+双三次插值） | DIV2K | 下采样 | 旋转、翻转 | Set5，Set14，B100，Urban100，Manga109 | L1,Lreg |
PSNR，SSIM，Params，FlOPS |
| BSRGAN--2021（基于GAN） | 后上采样（最近邻插值） | DIV2K，Flickr2K，WED，FFHQ | B+下采样+N | —— | ①合成的DIV2K4D， ②真实的RealSRSet |
L1，Lpercep，LPatchGAN | ①PSNR，LPIPS ②NIQE，NRQM，PI |
Real-ESRGAN--2021（基于GAN） |
后上采样（最近邻插值） | DIV2K，Flickr2K，OST | Bicubic+B+N+J |
—— | RealSR，DRealSR，OST300，DPED，ADE20K | L1，Lpercep，LGAN | 视觉效果 |
| IPT--2021（基于Transformer） | —— | ImageNet | Bicubic | —— | Set5，Set14，B100，Urban100 | L1，Lcontrastive | PSNR |
| SwinIR--2021（基于Transformer） | 后上采样（亚像素卷积） | DIV2K，Flickr2K | ①Bicubic ②B+下采样+N |
—— | Set5，Set14，Urban100，BSD100，Manga109 | ①L1 ②L1，LGAN，Lpercep |
PSNR，SSIM，Params，Mult-Adds |
