论文笔记之:DualGAN: Unsupervised Dual Learning for Image-to-Image Translation

简介: DualGAN: Unsupervised Dual Learning for Image-to-Image Translation2017-06-12  21:29:06     引言部分:  本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation。

 

DualGAN: Unsupervised Dual Learning for Image-to-Image Translation

2017-06-12  21:29:06  

 

  引言部分:

  本文提出一种对偶学习模式的 GAN 网络结构来进行 image to image translation。现有的图像之间转换的方法,大部分都是需要图像对的方法,但是实际上有的场景下,很难得到这样的图像对。如何利用多个 domain 之间的关系,不需要图像对就可以进行图像之间的转换,那将会是一个很 cool 的工作,而本文就是将 GAN 和 Dualing Learning 结合起来完成了该项目,从效果来看,还是可以的。

  

 

  关于 Dualing Learning:

  主要是参考了 NIPS 2016 年的一篇文章,做机器翻译的。是想将 domain A 到 domain B 之间的转换,构成一个闭环(loop)。通过 minimize 该图 和 重构图像之间的 loss 来优化学习的目标。这里也是,给定一个 domain image A,用一个产生器 P 来生成对应的 domain image B,由于没有和A匹配的图像对,这里是没有 GT 的。那么如何衡量 产生器造出的图像 P(A, z) 的质量呢?如何该图伪造的很好,那么反过来,用另一个 产生器 Q,应该可以很好的恢复出该图,即:Q(P(A, z), z') 应该和 A 是类似的,即:|| Q(P(A, z), z') - A ||。对于 domain image B 也是如此,那么有了另一个 重构误差。

  这样,除了在 minimize 两个 产生器的loss的同时,也需要考虑到这两个重构误差,从而使得最终转换的结果有保证。

  

  ==>> Training Target: 

  1. 用 L1 loss 来尽可能使得图像清晰;

  2. 用 两个 GAN 来实现 domain 之间的切换;

  

 

 

 

 

 

 

 

 

相关文章
|
机器学习/深度学习 算法 TensorFlow
Inception v3算法的实战与解析
Inception v3算法的实战与解析
|
JavaScript Java 测试技术
基于SpringBoot+Vue+uniapp的咖啡馆管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的咖啡馆管理系统的详细设计和实现(源码+lw+部署文档+讲解等)
131 1
|
10月前
|
机器学习/深度学习 编解码 搜索推荐
实测13个类Sora视频生成模型,8000多个案例,一次看个够
SORA-like模型是一类基于OpenAI的SORA模型发展而来的视频生成技术,以其在生成高质量视频上的卓越表现受到关注。该模型不仅提升了视频的分辨率、自然度和视觉语言对齐,还增强了对长视频序列的可控性。适用于内容创作、世界模拟等多种场景,展现出广泛的应用潜力。然而,模型在自动化评估、与人类偏好匹配及处理复杂运动上仍面临挑战。未来研究将聚焦于多模态、连续、交互式及个性化视频生成等领域。
537 2
|
12月前
|
数据处理 索引 Python
Pandas中resample方法:轻松处理时间序列数据
Pandas中resample方法:轻松处理时间序列数据
295 1
|
应用服务中间件 持续交付 nginx
[nginx]借助nginx实现自动获取本机IP
[nginx]借助nginx实现自动获取本机IP
216 5
|
消息中间件 缓存 数据库
Redis问题之如何解决缓存更新失败导致的数据不一致问题
Redis问题之如何解决缓存更新失败导致的数据不一致问题
399 7
|
数据可视化 算法 Python
解决matplotlib文字标签遮挡问题
解决matplotlib文字标签遮挡问题
284 0
|
人工智能 JSON API
HarmonyOS学习路之开发篇—AI功能开发(语音识别)
语音识别功能提供面向移动终端的语音识别能力。它基于华为智慧引擎(HUAWEI HiAI Engine)中的语音识别引擎,向开发者提供人工智能应用层API。该技术可以将语音文件、实时语音数据流转换为汉字序列,准确率达到90%以上(本地识别95%)。
|
Ubuntu 网络协议 应用服务中间件
免费泛域名申请以及无限续期
在Ubuntu 20.04上,使用certbot和snapd安装Let's Encrypt证书以实现免费泛域名(如`*.example.com`)的无限续期。首先安装snapd,然后卸载并安装certbot,创建certbot软连接。设置trust-plugin-with-root,安装certbot-dns-cloudflare插件,配置Cloudflare API token。通过certbot certonly命令获取证书,包括子域名,并设置自动续期。将证书导入nginx并验证。最后,创建post-renewal hook以在续期后自动重启nginx。
819 0
|
缓存 资源调度 JavaScript
如何通过 Vue CLI 打包 Vue3 项目?
如何通过 Vue CLI 打包 Vue3 项目?
654 0
如何通过 Vue CLI 打包 Vue3 项目?