实验分析
目标函数分析
只使用L1 loss,结果合理但模糊
只使用cGAN loss,结果锐利但存在artifacts
通过对L1 loss和cGAN loss进行一定的加权
(100:1),可以结合两者的优点
只使用GAN loss,生成图像发生模式崩溃
使用GAN + L1,结果与CGAN + L1 类似
光谱维度中的情况,与像素维度上的情况类似
只使用L1 loss,更倾向于生成平均的浅灰色;使用cGAN loss,生成的色彩更接近真实情况
生成器分析
Encoder-Decoder VS U-Net
在两种loss下,U-net的效果都显著优于Encoder-Decoder
判别器分析
比较不同的Patch大小的差异,默认使用L1 + cGAN loss
11的Patch相比于L1 loss,只是增强了生成图像的色彩使用1616的Patch,图像锐度有所提升,但存在显著的tiling artifacts
使用70*70的Patch,取得了最佳效果
使用286286的完整图像输入,生成结果比7070的要差,
因为网络的参数量大很多,训练更难以收敛
应用分析
Map-Photo
Map to Photo,L1 + cGan loss的结果显著优于 L1 loss
Photo to Map,L1 + cGan loss的结果接近于只使用 L1 loss
这可能是因为Map相比对Photo,几何特性要显著的多
图像上色
L1 + cGan loss的结果,与只使用L2 loss的结果较为接近
相比此前专门针对图像上色问题的方法,效果仍有较大差距
语义分割
只使用cGAN loss时,生成的效果和模型准确度还可以接受
使用L1 + cGAN loss,效果反而不如只使用 L1 loss
说明对于CV领域的问题,传统loss可能就够了,加入GAN loss无法获得增益
结论
条件对抗网络在许多图像翻译任务上都非常有应用潜力
特别是在高度结构化图形输出的任务上
使用不同的数据集训练pix2pix,可以用于各种图像翻译任务