5、 SRGAN
深度卷积神经网络在单个图像实现超分辨率在速度和精度上取得了突破，但是仍然存在一个核心问题：当在放大因子下的超分辨率时，如何恢复细小的纹理细节？基于这些问题：本文提出了一种用于图像SR的生成对抗网络SRGAN（Super-Resolution Using a Generative Adversarial Network），并且根据GAN网络结构提出了一种新的视觉损失（ perceptual loss），其中包含对抗损失（adversarial loss）和内容损失（content loss）。
图7. SRGAN的生成器和鉴别器网络结构，每个卷积层都有相应的核大小（k）、特征图数量（n）和步长（s）
如图7所示网络结构，在训练SRGAN的生成器网络过程中需要提供HR图像。首先对HR图像进行下采样得到相应的LR图像，然后将LR图像作为生成器的输入，训练生成器，使之输出对应的HR图像。作者提出用深度残差网络（ResNet）作为生成器的生成对抗网络，网络结构中存在很多的skip connection。为了区分真实的HR图像和生成的HR图像，还训练了一个鉴别器，使用了LeakeyReLU作为激活函数，网络层数从64到512，后面连接两个全连接层和一个sigmoid层，用来判断是否为同一图像的概率。
文章将代价函数改进为：
第一部分是基于内容的代价函数，第二部分是基于对抗学习的代价函数。基于内容的代价函数除了像素空间的最小均方差以外，又包含了一个基于特征空间的最小均方差，该特征是利用VGG网络提取的图像高层次特征：
对抗学习的代价函数是基于鉴别器输出的概率：
当前SOTA！平台收录SRGAN共5个模型实现。
| 项目 | SOTA！平台项目详情页 |
| SRGAN | 前往 SOTA！模型平台获取实现资源：https://sota.jiqizhixin.com/project/srgan |
6、 Red
本文提出了一个由对称的卷积层——反卷积层构成的网络结构，称为Red-Net（Residual Encoder-Decoder Networks）。如图8所示，其网络结构是对称的，每个卷积层都对应有反卷积层，卷积层将输入图像尺寸减小后，再通过反卷积层上采样变大，使得输入输出的尺寸一样。卷积层用于提取图像的特征，相当于编码的作用。而反卷积层用于放大特征的尺寸并恢复图像细节。每一组镜像对应的卷积和反卷积都由skip connection将两部分具有同样尺寸的特征进行相加操作后再输入到下一个反卷积层。这样的结构能够让反向传播信号能够直接传递到底层，解决了梯度消失问题，同时能将卷积层的细节传递给反卷积层，从而恢复出更干净的图像。与此同时，网络中有一条线是将输入的图像连接到后面与最后的一层反卷积层的输出相加，因此，整个模型架构中间的卷积层和反卷积层学习的特征是目标图像和低质图像之间的残差。
图8.网络整体结构。该网络包含对称卷积（编码器）和反卷积（去编码器）层。每隔几层（在本文实验中是两层）就有一个skip shortcuts，从卷积特征图到其镜像的反卷积特征图。卷积层的响应被直接传播到相应的镜像反卷积层，包括前向和后向传播
具体来说，各个组成部分的作用如下：
卷积：特征提取，随卷积进行，提取图像特征同时抑制噪声，经过多层卷积后，提取图像特征，同时降低噪声的影响。
反卷积：针对特征的上采样，完成由图像特征到图像的转换，由于利用的是过滤噪声后的图像特征，因此达到了降噪、图像修复的目的。
Skip connections：保留更多的图像细节，协助反卷积层完成图像的恢复工作；反向传播过程中的梯度反向，减少梯度消失，加快模型训练。
当前SOTA！平台收录RED共16个模型实现。
前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型实现代码、预训练模型及API等资源。
网页端访问：在浏览器地址栏输入新版站点地址 sota.jiqizhixin.com ，即可前往「SOTA！模型」平台，查看关注的模型是否有新资源收录。
移动端访问：在微信移动端中搜索服务号名称「机器之心SOTA模型」或 ID 「sotaai」，关注 SOTA！模型服务号，即可通过服务号底部菜单栏使用平台功能，更有最新AI技术、开发资源及社区动态定期推送。
