CycleGAN 论文泛读

简介: CycleGAN 论文泛读

CycleGAN 论文泛读


Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks


论文地址:Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks-ReadPaper论文阅读平台


摘要:

翻译

图像到图像的转换是一类视觉与图形问题,其目标是利用一系列对齐的成对图像(aligned image pairs)来训练学习输入图像和输出图像之间的映射。然而,对于许多任务来说,成对的训练数据是不可获取的。我们提出了一种方法,在没有成对实例的情况下学习将图像从源域(source domain)X转换到目标域(target domain)Y。我们的目标是学习一个映射G:X→Y,使G(X)的图像分布与使用对抗性损失的Y分布不可区分。因为这个映射是高度欠约束的( highly under-constrained),我们把它与一个反向映射F:Y→X结合起来,并引入一个循环一致性损失来推动F(G(X))≈X(反之亦然)。在几个不存在配对训练数据的任务上给出了定性的结果,包括风格迁移、物体变形、季节转换、照片增强等。并与之前的几种方法进行定量比较,证明了我们的方法的优越性。


提炼

1.图像翻译任务需要对齐的图像对,但很多场景下无法获得这样的训练数据

2.提出了一个基于非配对数据的方法,仍然可以学习到不同 domain 图像间的映射

3.CycleGAN是在GAN loss的基础上加入循环一致性损失,使得 F(G(X)) 尽量接近 X (反之亦然)

4.在训练集没有配对图像的情况下,对CycleGAN在风格迁移、物体变形、季节转换、图像增强等多个图像翻译任务中的生成结果做了定性展示

5.与此前一些方法的定量比较,进一步显示了CycleGAN的优势


研究背景

双射( Bijection )

既是单射又是满射的映射,即“一一映射”


映射:两个非空集合X与Y间存在着对应关系f,而且对于X中的每一个元素x,Y中总有唯一的一个元素y与x对应

单射( injection ):对于X中不同的元素x,其所对应的y也各不相同

满射( surjection ):对于Y中的每一个元素y,都至少存在一个x与其对应

域自适应/泛化(Domain Adaptation/Generalization)

domain自适应/泛化是迁移学习的一块重要研究领域

不同形式和来源的数据,其domain各不相同,数据分布存在域差异(Domain Discrepancy)

而domain自适应/泛化的目标,就是学习到不同domain间的域不变(Domain Invariant)特征

神经风格迁移(Neural Style Transfer)

在CNN中,通过CV任务学习到的content表征和style表征可以进行区分

Gram矩阵:一组向量间两两的内积所组成的矩阵,称为这组向量的Gram matrix,它可以表示这组向量的长度以及之间的相似程度

使用预训练CNN模型中的高层feature作为输入图像的content表征,使用各层feature的Gram矩阵作为输入的style表征


研究成果



研究意义

在pix2pix的基础上,通过引入循环一致性,减少了对配对数据集的需求,进一步拓展了GAN在图像翻译领域的应用范围


进一步验证了 GAN + 循环一致性/对偶(dual)的思路,可以在无监督 DomainAdaptation 的领域中取得不错的效果


论文结构

1.Introduction

2.Related work

3.Formulation

3.1. Adversarial Loss

3.2. Cycle Consistency Loss

3.3. Full Objective

4.Implementation

5.Result

5.1. Evaluation

5.1.1. Evaluation Metrics

5.1.2. Baseline

5.1.3. Comparison against baselines

5.1.4. Analysis of the loss function

5.1.5. Image reconstruction quality

5.1.6. Additional results on paired datasets

5.2. Application

6.Limitations and Discussion


目录
相关文章
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起,越来越多的人开始在网上购物。而对于电商平台来说,商品信息、价格、评论等数据是非常重要的。因此,抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序,抓取电商平台的商品信息、价格、评论等数据。 当然,如果是电商企业,跨境电商企业,ERP系统搭建,我们经常需要采集的平台多,数据量大,要求数据稳定供应,有并发需求,那就需要通过接入电商API数据采集接口,封装好的数据采集接口更方便稳定高效数据采集。
PADS原理图分页设计
当我们遇到原理图内容比较多,一个图页放不下时,我们就需要将原理图拆分成多个图页设计。比如分成MCU、POWER、CONNECT三个图页,如下图所示:
643 0
|
存储 算法 数据库
一起聊聊图像质量和美学评估的数据集
图像质量和美学评估是计算机视觉领域中热点的研究问题,并且极具应用前景,可与众多实际应用深度结合。评价一张图片,主要从两个方向,一个是图像的质量,如像素、清晰度、有无噪声等,一个是图像的感觉,也就是美学,如构图、颜色、内容主体等。通过这两个方面就可以评价一张图片的好坏,通过计算机视觉算法,可以为图片自动评分,得分高的图片被认为较好,可以用于推荐和搜索等应用场景。本文主要聊聊一些关于图像质量和美学评估
13130 1
|
7月前
|
存储 分布式计算 大数据
大数据与云计算:无缝结合,开启数据新纪元
大数据与云计算:无缝结合,开启数据新纪元
566 11
|
SQL 存储 关系型数据库
SQL安装实战:从零开始,一步步掌握SQL数据库的安装与配置
配置SQL数据库以优化性能 安装完成后,接下来的任务是对SQL数据库进行必要的配置,以确保其能够顺利运行并满足你的性能需求。以下是一些关键的配置步骤:
|
机器学习/深度学习
简介网络:GAN、CGAN和PIX2PIX
简介网络:GAN、CGAN和PIX2PIX
980 0
简介网络:GAN、CGAN和PIX2PIX
|
弹性计算 Linux 开发工具
阿里云学生云服务器申请_学生云主机优惠/大全2023
阿里云学生云服务器申请_学生云主机优惠/大全2023,申请阿里云学生服务器通过学生验证,免费领取7个月学生服务器
429 1
|
11月前
table表格基础知识及简单运用
table表格基础知识及简单运用
259 0
|
监控 数据可视化 数据挖掘
ERP系统中的数据分析与决策支持解析
【7月更文挑战第25天】 ERP系统中的数据分析与决策支持解析
996 0
|
机器学习/深度学习 算法 PyTorch
YOLO的版本有哪些,以及功能差异?
YOLO的版本有哪些,以及功能差异?