pix2pix-论文阅读笔记(三)

简介: pix2pix-论文阅读笔记(三)

实验分析


目标函数分析

只使用L1 loss,结果合理但模糊

只使用cGAN loss,结果锐利但存在artifacts

通过对L1 loss和cGAN loss进行一定的加权

(100:1),可以结合两者的优点

只使用GAN loss,生成图像发生模式崩溃

使用GAN + L1,结果与CGAN + L1 类似


光谱维度中的情况,与像素维度上的情况类似

只使用L1 loss,更倾向于生成平均的浅灰色;使用cGAN loss,生成的色彩更接近真实情况


生成器分析

Encoder-Decoder VS U-Net


在两种loss下,U-net的效果都显著优于Encoder-Decoder



判别器分析

比较不同的Patch大小的差异,默认使用L1 + cGAN loss


11的Patch相比于L1 loss,只是增强了生成图像的色彩使用1616的Patch,图像锐度有所提升,但存在显著的tiling artifacts


使用70*70的Patch,取得了最佳效果


使用286286的完整图像输入,生成结果比7070的要差,

因为网络的参数量大很多,训练更难以收敛



应用分析

Map-Photo


Map to Photo,L1 + cGan loss的结果显著优于 L1 loss

Photo to Map,L1 + cGan loss的结果接近于只使用 L1 loss

这可能是因为Map相比对Photo,几何特性要显著的多


图像上色

L1 + cGan loss的结果,与只使用L2 loss的结果较为接近

相比此前专门针对图像上色问题的方法,效果仍有较大差距


语义分割


只使用cGAN loss时,生成的效果和模型准确度还可以接受


使用L1 + cGAN loss,效果反而不如只使用 L1 loss


说明对于CV领域的问题,传统loss可能就够了,加入GAN loss无法获得增益


结论


条件对抗网络在许多图像翻译任务上都非常有应用潜力

特别是在高度结构化图形输出的任务上

使用不同的数据集训练pix2pix,可以用于各种图像翻译任务

目录
打赏
0
0
0
0
8
分享
相关文章
CVPR 2023 | IGEV-Stereo & IGEV-MVS:双目立体匹配网络新SOTA!
CVPR 2023 | IGEV-Stereo & IGEV-MVS:双目立体匹配网络新SOTA!
896 0
计算机视觉论文速递(三)YOLO-Pose:《Enhancing YOLO for Multi Person Pose .....》实时性高且易部署的姿态估计模型
现有的基于Heatmap的两阶段方法并不是最优的,因为它们不是端到端训练的,且训练依赖于替代L1损失,不等价于最大化评估度量,即目标关键点相似度(OKS)。
724 0
Stereo-Detection:适合新手的双目测距开源项目
Stereo-Detection:适合新手的双目测距开源项目
1644 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等