pix2pix-论文阅读笔记(三)

简介: pix2pix-论文阅读笔记(三)

实验分析


目标函数分析

只使用L1 loss,结果合理但模糊

只使用cGAN loss,结果锐利但存在artifacts

通过对L1 loss和cGAN loss进行一定的加权

(100:1),可以结合两者的优点

只使用GAN loss,生成图像发生模式崩溃

使用GAN + L1,结果与CGAN + L1 类似


光谱维度中的情况,与像素维度上的情况类似

只使用L1 loss,更倾向于生成平均的浅灰色;使用cGAN loss,生成的色彩更接近真实情况


生成器分析

Encoder-Decoder VS U-Net


在两种loss下,U-net的效果都显著优于Encoder-Decoder



判别器分析

比较不同的Patch大小的差异,默认使用L1 + cGAN loss


11的Patch相比于L1 loss,只是增强了生成图像的色彩使用1616的Patch,图像锐度有所提升,但存在显著的tiling artifacts


使用70*70的Patch,取得了最佳效果


使用286286的完整图像输入,生成结果比7070的要差,

因为网络的参数量大很多,训练更难以收敛



应用分析

Map-Photo


Map to Photo,L1 + cGan loss的结果显著优于 L1 loss

Photo to Map,L1 + cGan loss的结果接近于只使用 L1 loss

这可能是因为Map相比对Photo,几何特性要显著的多


图像上色

L1 + cGan loss的结果,与只使用L2 loss的结果较为接近

相比此前专门针对图像上色问题的方法,效果仍有较大差距


语义分割


只使用cGAN loss时,生成的效果和模型准确度还可以接受


使用L1 + cGAN loss,效果反而不如只使用 L1 loss


说明对于CV领域的问题,传统loss可能就够了,加入GAN loss无法获得增益


结论


条件对抗网络在许多图像翻译任务上都非常有应用潜力

特别是在高度结构化图形输出的任务上

使用不同的数据集训练pix2pix,可以用于各种图像翻译任务

目录
相关文章
|
2月前
|
计算机视觉 网络架构 容器
论文精度笔记(三):《LUVLi Face Alignment: Estimating LandmarksLocation, Uncertainty...》
该论文提出了一个名为LUVLi的新型人脸对齐框架,它能够同时预测面部标志点的位置、预测位置的不确定性以及标志点的可见性概率,并通过引入一个新的面部对齐数据集MERL-RAV来训练和验证这一框架。
40 1
论文精度笔记(三):《LUVLi Face Alignment: Estimating LandmarksLocation, Uncertainty...》
|
机器学习/深度学习
简介网络:GAN、CGAN和PIX2PIX
简介网络:GAN、CGAN和PIX2PIX
820 0
简介网络:GAN、CGAN和PIX2PIX
|
机器学习/深度学习 PyTorch 区块链
深度学习原理篇 第十章:Pix2Seq
简要介绍pix2seq的原理和代码实现。
493 1
|
机器学习/深度学习 自然语言处理 固态存储
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(二)
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(二)
160 0
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(二)
|
编解码 vr&ar 图形学
pix2pix-论文阅读笔记(一)
pix2pix-论文阅读笔记(一)
160 0
pix2pix-论文阅读笔记(一)
|
机器学习/深度学习 算法 定位技术
pix2pix-论文阅读笔记(二)
pix2pix-论文阅读笔记(二)
174 0
pix2pix-论文阅读笔记(二)
|
机器学习/深度学习 PyTorch 文件存储
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(一)
CVPR2021全新Backbone | ReXNet在CV全任务以超低FLOPs达到SOTA水平(文末下载论文和源码)(一)
97 0
|
机器学习/深度学习 算法 计算机视觉
YOLO V4 Tiny改进版来啦!速度294FPS精度不减YOLO V4 Tiny(附论文下载)
YOLO V4 Tiny改进版来啦!速度294FPS精度不减YOLO V4 Tiny(附论文下载)
386 0
|
机器学习/深度学习 人工智能 安全
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
CVPR‘2023 | MP-Former: 精度高&收敛快-Mask2Former全能图像分割的进阶之路
1335 0
|
机器学习/深度学习 大数据 测试技术
论文阅读笔记 | MLP系列——MLP-Mixer
论文阅读笔记 | MLP系列——MLP-Mixer
360 0
论文阅读笔记 | MLP系列——MLP-Mixer