🎉 声明: 作为全网 AI 领域 干货最多的博主之一，❤️ 不负光阴不负卿 ❤️
备注：小白笔记，感谢查阅
基础信息
- PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
- https://github.com/adamian98/pulse 链接
pulse 环境搭建
- 服务器：Ubuntu16.04 GTX1060 6G * 8
- 个人用户：CUDA版本 9.2；cudnn 7.6.2 ;
- 因此适配的pytorch为 torch==1.5.0+cu92 torchvision==0.6.0+cu92
conda create -n torch15 python=3.8.2
source activate torch15
pip install torch==1.5.0+cu92 torchvision==0.6.0+cu92 -f https://download.pytorch.org/whl/torch_stable.html
pip install pandas
pip install requests
pip install scipy==1.4.1
pip install dlib==19.19.0
- 下载预训练模型，我下载好的预训练模型在此分享：
链接：https://pan.baidu.com/s/1fJ1qtN2NyeCNr0HnCWriOA
提取码：cool使用预训练模型进行，测试：
1、检测原图中的人脸并下采样到 32x32 大小，保存到：input 目录中；
python align_face.py -input_dir dataset/mix2、基于 32x32 的人脸小图，重建生成 1024x1024 的高清人脸大图，保存到： runs 目录中；
python run.py 效果如下：
pulse 文章的意义和创新
杜克大学的研究团队研发了一个AI图像生成模型PULSE。PULSE可以在5秒钟内将低分辨率的人像转换成清晰、逼真的人像。
要指出的是，PULSE所做的工作并不是把低分辨率“还原”到高分辨率，而是输出许多张可能的高分辨率图像。比如，用户输入一张16-16分辨率的图像，PLUSE可输出一组1024-1024分辨率的图像。
这项研究于本月在计算机视觉与模式识别顶会CVPR 2020上发表，论文标题为《PULSE：通过对生成模型的潜在空间探索实现自监督照片上采样（PULSE：Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models）》。
二、方法： 降尺寸损失方法：用生成图像“倒推”模糊图，相似才能输出
为了保证输出图像与输入图像的“对应性”，研究人员在PULSE模型中应用了一种“降尺度损失（downscaling loss）”方法。
当PULSE模型的生成网络提议以一张清晰图像作为输出时，判别网络会把这张清晰图像的分辨率降低到与输入图像相等的水平。然后，判别网络会对比降尺度损失图像与输入图像之间的相似性。
只有在降尺度损失图像与输入图像相似性较高时，判别网络才会判定生成网络提议的清晰图片可以作为输出。
三、40位评估者参与打分，PULSE模型MOS得分最高
研究人员用高分辨人脸数据集CelebA HQ评估PLUSE的性能。为了进行对比，研究人员利用CelebA HQ数据集训练了监督模型BICBIC、FSRNET和FSRGAN。
所有模型均以1616分辨率的图像作为输入，BICBIC、FSRNET和FSRGAN模型以128128分辨率图像作为输出，PLUSE模型以128128分辨率图像和10241024分辨率图像作为输出。
评估结果显示，图像质量方面，PULSE模型在生成眼睛、嘴唇等图像细节方面的能力优于其他模型。
自己对论文的总结
- 训练数据（无需对成对的LR-HR图像数据集）
- 训练过程
- 重建效果
- 评价指标
- 作者总结：我们已经建立了用于图像超分辨率的新方法以及新的问题表述。
与传统的CNN监督工作相比，这为沿着不同轨道的超分辨率方法开辟了一条新途径。 该方法不仅限于在训练过程中看到的特定 degradation operator ，而且始终保持较高的感知质量。
