pix2pix-论文阅读笔记(三)

简介: pix2pix-论文阅读笔记(三)

实验分析


目标函数分析

只使用L1 loss,结果合理但模糊

只使用cGAN loss,结果锐利但存在artifacts

通过对L1 loss和cGAN loss进行一定的加权

(100:1),可以结合两者的优点

只使用GAN loss,生成图像发生模式崩溃

使用GAN + L1,结果与CGAN + L1 类似


光谱维度中的情况,与像素维度上的情况类似

只使用L1 loss,更倾向于生成平均的浅灰色;使用cGAN loss,生成的色彩更接近真实情况


生成器分析

Encoder-Decoder VS U-Net


在两种loss下,U-net的效果都显著优于Encoder-Decoder



判别器分析

比较不同的Patch大小的差异,默认使用L1 + cGAN loss


11的Patch相比于L1 loss,只是增强了生成图像的色彩使用1616的Patch,图像锐度有所提升,但存在显著的tiling artifacts


使用70*70的Patch,取得了最佳效果


使用286286的完整图像输入,生成结果比7070的要差,

因为网络的参数量大很多,训练更难以收敛



应用分析

Map-Photo


Map to Photo,L1 + cGan loss的结果显著优于 L1 loss

Photo to Map,L1 + cGan loss的结果接近于只使用 L1 loss

这可能是因为Map相比对Photo,几何特性要显著的多


图像上色

L1 + cGan loss的结果,与只使用L2 loss的结果较为接近

相比此前专门针对图像上色问题的方法,效果仍有较大差距


语义分割


只使用cGAN loss时,生成的效果和模型准确度还可以接受


使用L1 + cGAN loss,效果反而不如只使用 L1 loss


说明对于CV领域的问题,传统loss可能就够了,加入GAN loss无法获得增益


结论


条件对抗网络在许多图像翻译任务上都非常有应用潜力

特别是在高度结构化图形输出的任务上

使用不同的数据集训练pix2pix,可以用于各种图像翻译任务

目录
相关文章
|
11月前
|
机器学习/深度学习 PyTorch 区块链
深度学习原理篇 第十章:Pix2Seq
简要介绍pix2seq的原理和代码实现。
295 1
|
11月前
|
人工智能 文字识别 PyTorch
数学公式识别(Mathpix + pix2tex)
数学公式识别(Mathpix + pix2tex)
417 0
|
机器学习/深度学习
简介网络:GAN、CGAN和PIX2PIX
简介网络:GAN、CGAN和PIX2PIX
723 0
简介网络:GAN、CGAN和PIX2PIX
|
机器学习/深度学习 人工智能 安全
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
1044 0
|
机器学习/深度学习 算法 定位技术
pix2pix-论文阅读笔记(二)
pix2pix-论文阅读笔记(二)
126 0
pix2pix-论文阅读笔记(二)
|
编解码 vr&ar 图形学
pix2pix-论文阅读笔记(一)
pix2pix-论文阅读笔记(一)
120 0
pix2pix-论文阅读笔记(一)
DL之pix2pix(cGAN)之AC:基于pix2pix(cGAN)模型实现对图像实现Auto Color自动上色技术—daidingdaiding
DL之pix2pix(cGAN)之AC:基于pix2pix(cGAN)模型实现对图像实现Auto Color自动上色技术—daidingdaiding
DL之pix2pix(cGAN)之AC:基于pix2pix(cGAN)模型实现对图像实现Auto Color自动上色技术—daidingdaiding
|
并行计算 Ubuntu 数据安全/隐私保护
图片转换为 mp4 video,一项神奇的技术【CVPR 2020】
图像修复-代码环境搭建-知识总结
737 0
图片转换为 mp4  video,一项神奇的技术【CVPR 2020】
DL之pix2pix:基于TF利用pix2pix模型对food_resized数据集实现Auto Color自动上色技术—训练&测试过程全记录(一)
DL之pix2pix:基于TF利用pix2pix模型对food_resized数据集实现Auto Color自动上色技术—训练&测试过程全记录
DL之pix2pix:基于TF利用pix2pix模型对food_resized数据集实现Auto Color自动上色技术—训练&测试过程全记录(一)
TF之pix2pix之dataset:基于TF利用自己的数据集训练pix2pix模型之DIY自己的数据集
TF之pix2pix之dataset:基于TF利用自己的数据集训练pix2pix模型之DIY自己的数据集
TF之pix2pix之dataset:基于TF利用自己的数据集训练pix2pix模型之DIY自己的数据集