pix2pix-论文阅读笔记(三)

简介: pix2pix-论文阅读笔记(三)

实验分析


目标函数分析

只使用L1 loss,结果合理但模糊

只使用cGAN loss,结果锐利但存在artifacts

通过对L1 loss和cGAN loss进行一定的加权

(100:1),可以结合两者的优点

只使用GAN loss,生成图像发生模式崩溃

使用GAN + L1,结果与CGAN + L1 类似


光谱维度中的情况,与像素维度上的情况类似

只使用L1 loss,更倾向于生成平均的浅灰色;使用cGAN loss,生成的色彩更接近真实情况


生成器分析

Encoder-Decoder VS U-Net


在两种loss下,U-net的效果都显著优于Encoder-Decoder



判别器分析

比较不同的Patch大小的差异,默认使用L1 + cGAN loss


11的Patch相比于L1 loss,只是增强了生成图像的色彩使用1616的Patch,图像锐度有所提升,但存在显著的tiling artifacts


使用70*70的Patch,取得了最佳效果


使用286286的完整图像输入,生成结果比7070的要差,

因为网络的参数量大很多,训练更难以收敛



应用分析

Map-Photo


Map to Photo,L1 + cGan loss的结果显著优于 L1 loss

Photo to Map,L1 + cGan loss的结果接近于只使用 L1 loss

这可能是因为Map相比对Photo,几何特性要显著的多


图像上色

L1 + cGan loss的结果,与只使用L2 loss的结果较为接近

相比此前专门针对图像上色问题的方法,效果仍有较大差距


语义分割


只使用cGAN loss时,生成的效果和模型准确度还可以接受


使用L1 + cGAN loss,效果反而不如只使用 L1 loss


说明对于CV领域的问题,传统loss可能就够了,加入GAN loss无法获得增益


结论


条件对抗网络在许多图像翻译任务上都非常有应用潜力

特别是在高度结构化图形输出的任务上

使用不同的数据集训练pix2pix,可以用于各种图像翻译任务

目录
相关文章
|
10月前
|
机器学习/深度学习 PyTorch 区块链
深度学习原理篇 第十章:Pix2Seq
简要介绍pix2seq的原理和代码实现。
275 1
|
10月前
|
达摩院 并行计算 TensorFlow
|
10月前
|
人工智能 文字识别 PyTorch
数学公式识别(Mathpix + pix2tex)
数学公式识别(Mathpix + pix2tex)
402 0
|
机器学习/深度学习
简介网络:GAN、CGAN和PIX2PIX
简介网络:GAN、CGAN和PIX2PIX
717 0
简介网络:GAN、CGAN和PIX2PIX
|
机器学习/深度学习 人工智能 安全
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
997 0
|
算法
关于YUV转RGB的一些理论知识
YUV与RGB转换的那点事
467 0
|
编解码 vr&ar 图形学
pix2pix-论文阅读笔记(一)
pix2pix-论文阅读笔记(一)
111 0
pix2pix-论文阅读笔记(一)
|
机器学习/深度学习 算法 定位技术
pix2pix-论文阅读笔记(二)
pix2pix-论文阅读笔记(二)
117 0
pix2pix-论文阅读笔记(二)
|
机器学习/深度学习 编解码 人工智能
Text to image综述阅读(3)An Introduction to Image Synthesis with Generative Adversarial Nets生成对抗网图像合成简介
Text to image综述阅读(3)An Introduction to Image Synthesis with Generative Adversarial Nets生成对抗网图像合成简介
Text to image综述阅读(3)An Introduction to Image Synthesis with Generative Adversarial Nets生成对抗网图像合成简介
DL之pix2pix(cGAN)之AC:基于pix2pix(cGAN)模型实现对图像实现Auto Color自动上色技术—daidingdaiding
DL之pix2pix(cGAN)之AC:基于pix2pix(cGAN)模型实现对图像实现Auto Color自动上色技术—daidingdaiding
DL之pix2pix(cGAN)之AC:基于pix2pix(cGAN)模型实现对图像实现Auto Color自动上色技术—daidingdaiding