论文笔记之:DualGAN: Unsupervised Dual Learning for Image-to-Image Translation

简介: DualGAN: Unsupervised Dual Learning for Image-to-Image Translation2017-06-12  21:29:06     引言部分:  本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation。

 

DualGAN: Unsupervised Dual Learning for Image-to-Image Translation

2017-06-12  21:29:06  

 

  引言部分:

  本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation。现有的图像之间转换的方法,大部分都是需要图像对的方法,但是实际上有的场景下,很难得到这样的图像对。如何利用多个 domain 之间的关系,不需要图像对就可以进行图像之间的转换,那将会是一个很 cool 的工作,而本文就是将 GAN 和 Dualing Learning 结合起来完成了该项目,从效果来看,还是可以的。

  

 

  关于 Dualing Learning:

  主要是参考了 NIPS 2016 年的一篇文章,做机器翻译的。是想将 domain A 到 domain B 之间的转换,构成一个闭环(loop)。通过 minimize 该图 和 重构图像之间的 loss 来优化学习的目标。这里也是,给定一个 domain image A,用一个产生器 P 来生成对应的 domain image B,由于没有和A匹配的图像对,这里是没有 GT 的。那么如何衡量 产生器造出的图像 P(A, z) 的质量呢?如何该图伪造的很好,那么反过来,用另一个 产生器 Q,应该可以很好的恢复出该图,即:Q(P(A, z), z') 应该和 A 是类似的,即:|| Q(P(A, z), z') - A ||。对于 domain image B 也是如此,那么有了另一个 重构误差。

  这样,除了在 minimize 两个 产生器的loss的同时,也需要考虑到这两个重构误差,从而使得最终转换的结果有保证。

  

  ==>> Training Target: 

  1. 用 L1 loss 来尽可能使得图像清晰;

  2. 用 两个 GAN 来实现 domain 之间的切换;

  

 

 

 

 

 

 

 

 

相关文章
|
1月前
|
机器学习/深度学习 编解码 算法
论文精度笔记(二):《Deep Learning based Face Liveness Detection in Videos 》
论文提出了基于深度学习的面部欺骗检测技术,使用LRF-ELM和CNN两种模型,在NUAA和CASIA数据库上进行实验,发现LRF-ELM在检测活体面部方面更为准确。
26 1
论文精度笔记(二):《Deep Learning based Face Liveness Detection in Videos 》
|
1月前
|
机器学习/深度学习 人工智能 文件存储
【小样本图像分割-3】HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet
本文介绍了一种名为HyperSegNAS的新方法,该方法结合了一次性神经架构搜索(NAS)与3D医学图像分割,旨在解决传统NAS方法在3D医学图像分割中计算成本高、搜索时间长的问题。HyperSegNAS通过引入HyperNet来优化超级网络的训练,能够在保持高性能的同时,快速找到适合不同计算约束条件的最优网络架构。该方法在医疗分割十项全能(MSD)挑战的多个任务中展现了卓越的性能,特别是在胰腺数据集上的表现尤为突出。
20 0
【小样本图像分割-3】HyperSegNAS: Bridging One-Shot Neural Architecture Search with 3D Medical Image Segmentation using HyperNet
|
2月前
|
算法 数据挖掘
文献解读-Genome-wide imputation using the practical haplotype graph in the heterozygous crop cassava
PHG是一种将基因组简化为一组单倍型的方法。这种方法可用于从稀疏的基因分型信息中预测杂合子物种中的全基因组单倍型。它的高精度,特别是在稀有等位基因中,在非常低的测序深度下,使其成为一种潜在的强大插补工具。
34 4
|
3月前
|
机器学习/深度学习 编解码 自然语言处理
【文献学习】An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
本文介绍了如何使用纯Transformer模型进行图像识别,并讨论了模型的结构、训练策略及其在多个图像识别基准上的性能。
82 3
|
6月前
|
算法 BI 计算机视觉
[Initial Image Segmentation Generator]论文实现:Efficient Graph-Based Image Segmentation
[Initial Image Segmentation Generator]论文实现:Efficient Graph-Based Image Segmentation
62 1
|
机器学习/深度学习 编解码 人工智能
Text to image综述阅读(2)A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis
这是一篇用GAN做文本生成图像(Text to Image)的综述阅读报告。 综述名为:《A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis》,发表于2019年,其将文本生成图像分类为Semantic Enhancement GANs, Resolution Enhancement GANs, Diversity Enhancement GANs, Motion Enhancement GANs四类,并且介绍了代表性model。
Text to image综述阅读(2)A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis
|
数据可视化 数据挖掘
【论文解读】Dual Contrastive Learning:Text Classification via Label-Aware Data Augmentation
北航出了一篇比较有意思的文章,使用标签感知的数据增强方式,将对比学习放置在有监督的环境中 ,下游任务为多类文本分类,在低资源环境中进行实验取得了不错的效果
411 0
|
数据挖掘
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation-ppt版学习笔记
PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation-ppt版学习笔记
129 0
|
机器学习/深度学习 传感器 自然语言处理
论文笔记:SpectralFormer Rethinking Hyperspectral Image Classification With Transformers_外文翻译
 高光谱(HS)图像具有近似连续的光谱信息,能够通过捕获细微的光谱差异来精确识别物质。卷积神经网络(CNNs)由于具有良好的局部上下文建模能力,在HS图像分类中是一种强有力的特征提取器。然而,由于其固有的网络骨干网的限制,CNN不能很好地挖掘和表示谱特征的序列属性。
172 0
|
机器学习/深度学习 资源调度 算法框架/工具
翻译:Deep Residual Learning for Image Recognition
翻译:Deep Residual Learning for Image Recognition
137 0