前言
输入为单张图像和多张图像：
SISR方法输入一张低分辨率图像，利用深度神经网络学习LR-HR图像对之间的映射关系，最终将
LR图像重建为一张高分辨率图像。
RefSR方法借助引入的参考图像，将相似度最高的参考图像中的信息转移到低分辨率图像中并进行两者的信息融合，从而重建出纹理细节更清晰的高分辨率图像。
一、SISR模型统计
Table 1 SISR model statistics
| 模型算法 | 超分框 | 上采样方式 | 网络模型 | 损失函数 | 优点 | 局限性 |
| SRCNN | 前采样 | 三立方插值 | 卷积直连 | MSE损失 | 首次将深度学习引入超分领域，重建效果超过传统算法 | 训练收敛慢，只能完成单一尺度放大，重建图像平滑 |
| FSRCNN | 后采样 | 转置卷积 | 卷积直连 | MSE损失 | 速度较SRCNN提高，实时性得到提高 | 依赖于局部的像素信息进行重建，有伪影产生 |
| VSDR | 后采样 | 三立方插值 | 残差网络 | MSE损失 | 实现多尺度超分放大 | 对图像进行插值放大再计算，导致巨大的计算量 |
| ESPCN | 前采样 | 亚像素卷积 | 卷积直连 | MSE损失 | 网络效率提高，提出了亚像素卷积放大方法，灵活解决了多尺度放大问题 | 重建图像有伪影 |
| SRResNet | 后采样 | 亚像素卷积 | 残差网络 | MSE损失 | 解决深层网络难训练问题 | 重建图像光滑 |
| SRGAN | 后采样 | 亚像素卷积 | 残差网络 | 感知损失 | 提高图像感知质量 | 模型设计复杂，训练困难 |
| LapSRN | 渐进式 | 三立方插值 | 残差网络 | L1损失 | 产生多尺度超分图像，网络拥有更大的感受野 | 重建质量不佳 |
| EDSR | 后采样 | 亚像素卷积 | 残差网络 | L1损失 | 增大模型尺寸，降低训练难度 | 推理时间长，实时性差 |
| SRDenseNet | 后采样 | 转置卷积 | 残差、稠密网络 | MSE损失 |
减轻梯度消失，增强特征传播能力 | 对所有层进行连接，计算量大 |
| RDN | 后采样 | 亚像素卷积 | 残差网络 | L1损失 | 增加网络复杂度，提高主观视觉质量 | 采用了稠密连接，计算量大 |
| RCAN | 后采样 | 亚像素卷积 | 残差、注意力机制网络 | L1损失 | 通过注意力网络使模型专注于高频信息的学习 | 引入通道注意力机制的同时，将各个卷积层视为单独的过程，忽略了不同层之间的联系 |
| ESRGAN | 后采样 | 亚像素卷积 | 残差、稠密网络 | L1损失 | 更稳定的GAN模型，重建高频纹理细节 | 模型设计复杂，训练困难 |
| SAN | 后采样 | 亚像素卷积 | 残差、注意力机制网络 | L1损失 | 提出了二阶通道注意力模块，增强了模型的特征表达和特征学习能力，利用非局部加强残差组捕捉长距离空间内容信息 | 计算成本高 |
| SRFBN | 后采样 | 转置卷积 | 递归、残差、稠密网络 | L1损失 | 引入反馈机制，前面层可以从后面层中受益 | 通过迭代的方式虽然减少了参数，但是每次迭代都会计算loss和重建图像，计算量大 |
| CDC | 渐进式 | 转置卷积 | 递归、残差、注意力机制网络 | 梯度加权损失 | 提高真实世界图像重建质量，对图像不同区域进行针对性训练 | 训练复杂，计算量大 |
| HAN | 后采样 | 亚像素卷积 | 残差、注意力机制 | L1损失 | 学习不同深度之间特征的关系，提高特征表达能力 | 对不同层、通道和位置之间的特征信息进行建模，参数量多，计算量大 |
| SRFlow | 后采样 | 亚像素卷积 | 残差网络 | 对抗损失、内容损失 | 克服了GAN模型易崩溃的问题 | 生成多张近似的图片，计算量大 |
| DFCAN | 后采样 | 亚像素卷积 | 残差、注意力机制网络 | 对抗损失 | 提升显微镜下超分重建图像质量 | 设计复杂，专用于显微镜超分 |
| LIIT | 后采样 | 亚像素卷积 | 残差网络 | L1损失 | 连续表达学习，实现30倍的放大图像 | 生成图像光滑 |
二、RefSR模型统计
Table 2 RefSR model statistics
| 模型算法 | 对齐方法 | 匹配方法 | 融合方法 | 损失函数 | 优点 | 局限性 |
| Landmark | 全局配准 | —— | 求解能量最小化 | —— | 利用全局匹配，解决了图像内容相似但照明、焦距、镜头透视图等不同造成关联细节不确定性问题 | 参考图像与输入图像分辨率差距过大，影响了模型的学习能力 |
| CrossNet | 光流法 | —— | 融合解码层 | L1损失 | 解决了Ref图像与LR图像分辨率差距大带来的图像对齐困难的问题 | 仅限于小视差的条件，在光场数据集上可以达到很高的精度，但在处理大视差的情况下效果迅速下降 |
| HCSR | 光流法 | —— | 混合策略融合 | 重构损失 对抗损失 |
引入SISR方法生成的中间视图，解决跨尺度输入之间的显著分辨率之差引起的变换问题 | 依赖于LR与HR之间的对准质量，计算多个视图差会带来巨大的计算量 |
| SSEN | 可变性卷积 | —— | RCAN基础网络 | 重构损失 感知损失 对抗损失 |
使用非局部块作为偏移量估计来积极地搜索相似度，可以以多尺度的方式执行像素对齐，并且提出的相似性搜索与提取模块可以插入到现有任何超分网络中 | 利用非局部块来辅助相似度搜索，全局计算意味着巨大的参数量 |
| SS-Net | —— | 跨尺度对应网络 | 构建一个预测模块，从尺度3到尺度1进行融合 | 交叉熵损失 |
设计了一个跨尺度对应网络来表示图像之间的匹配，在多个尺度下进行特征融合 | 参考图像与输入图像的相似度直接影响生成图像的质量 |
| SRNTT | —— | 在自然空间中进行多级匹配 | 结合多级残差网络和亚像素卷积层构成神经结构转移模块 | 重构损失 感知损失 对抗损失 |
根据参考图像的纹理相似度自适应地转换纹理，丰富了HR纹理细节；并且在特征空间进行多级匹配，促进了多尺度神经传输，使得模型即使在参考图像极不相关的情况下性能也只会降低到SISR的级别 | 当相似纹理较少或者图像区域重复时，不能很好地处理，计算成本高 |
| TTSR | —— | 利用Transformer架构中的注意力结构来完成特征的匹配 | 利用软注意力模块完成特征融合 | 重构损失 感知损失 对抗损失 |
引入了Transformer架构，利用Transformer的注意力机制发现更深层的特征对应，从而可以传递准确的纹理特性 | 当相似纹理较少或者图像区域重复时，不能很好地处理，计算成本高 |
| Cross-MPI | —— | 平面感知MPI机制 | 对不同深度平面通道进行汇总 | 重构损失 感知损失 内部监督损失 |
平面感知MPI机制充分利用了场景结构进行有效的基于注意的对应搜索，不需要进行跨尺度立体图像之间的直接匹配或穷举匹配 | 虽然解决了图像之间较大分辨率差异时的高保真超分辨率重建，但是忽略了图像之间在分布上存在的差异产生的影响 |
| MASA | —— | 利用自然图像局部相关性，由粗到精进行匹配 | 利用双残差聚合模块（DRAM） | 重构损失 感知损失 对抗损失 |
在保持高质量匹配的同时吗，利用图像的局部相关性，缩小特征空间搜索范围。同时提出了空间自适应模块，使得Ref图像中的有效信息可以更充分地利用 | 基于图像的内容和外观相似度来进行计算，忽略了HR和LR图像之间的底层转换关系 |
 -Matching |
—— | 利用图像的增强视图来学习经过底层变换之后的对应关系 | 动态融合模块完成特征融合 | 重构损失 感知损失 对抗损失 |
不仅考虑了图像分辨率差距上带来的影响，还考虑了图像在底层变换过程中导致图像外观发生变换带来的影响，使得模型对大尺度下以及旋转变换等情况都具有较强的鲁棒性 | 模型结构较为复杂，计算量大 |
