StarGAN - 图像到图像的翻译

简介: StarGANs用来做什么?
TB1CHdeRCzqK1RjSZFjXXblCFXa.jpg

本文为 AI 研习社编译的技术博客,原标题 :

StarGAN — Image-to-Image Translation

作者 | Pranoy Radhakrishnan

翻译 | tobepellucid         

校对 | Pita        审核 | 酱番梨       整理 | 立鱼王

原文链接:

https://towardsdatascience.com/stargan-image-to-image-translation-44d4230fbb48

TB1b18fRrvpK1RjSZFqXXcXUVXa.jpg

   StarGANs用来做什么?

通过输入来自两个不同领域的训练数据,StarGANs模型可以学习将某一个领域的图片转换成为另一个领域。

例如,把一个人的发色(属性)从黑色(属性值)转换成棕色(属性值)。

我们把领域定义为拥有相同属性值的一系列图片。黑色头发人群是一个领域,棕色头发人群则是另一个领域。

   StarGAN(星型生成式对抗网络)

TB1.lUGRmzqK1RjSZPcXXbTepXa.jpg

生成器把图像和目标领域标签作为输入,生成一张非真实的图像.(b)

生成器试图根据所给的原始领域标签,把非真实图像重构为原始图像。

这里,为了生成器能够产生与真实图像难以区分的图像且该图像可以被判别器分类为目标领域,判别器不仅要区分非真实性,而且要对一张图像作出它相应领域的分类。也就是说,生成器将最终学到可以生成对应于所给目标领域的真实图像。(d)

   判别器的目标

这里的判别器有两个任务:

它应该能够鉴别一张图像真实与否。

在位于判别器顶部的辅助分类器的帮助下,判别器也可以预测输入给它的图像的对应领域。

辅助分类器的作用是什么?

有了辅助分类器,判别器能够学习到原始图像的映射以及它在数据集中所对应的领域。当生成器产生一张指定目标领域c(比如棕色头发)的新图像时,判别器可以预测所产生的图像的领域。因此生成器会产生新图像直到判别器给出对应的目标领域c(棕色头发)的预测为止。

TB1H5JkRAPoK1RjSZKbXXX1IXXa.png

判别器的损失函数

   生成器的目标

这里的生成器有三个目标:

为了生成图像接近真实,生成器的权重会被不断调整。

为了生成图像能够被判别器鉴定为目标领域,生成器的权重会被不断调整。

生成器将根据所给原始领域标签把生成的非真实图像重构为原始图像。我们将使用单一的生成器两次,第一次把原始图像翻译成目标领域的图像,第二次把翻译图像再重构成原始图像。

TB1QRs9RjDpK1RjSZFrXXa78VXa.png

生成器的损失函数

   数据集

CelebA. 名人脸部属性(CelebA)数据集包含了202,599张明星的脸部图像,每张都被标注了40个二分类属性。雷锋网雷锋网(公众号:雷锋网)雷锋网

拉德堡德脸部数据库(RaFD)由收集自67位参与者的4,824张图像组成,每位参与者在三个不同的注视方向上做了八种脸部表情,拍摄于三个不同的角度。

   参考

StarStarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

想要继续查看该篇文章相关链接和参考文献?

点击【StarGAN-图像到图像的翻译】即可访问:

https://ai.yanxishe.com/page/TextTranslation/1611

AI入门、大数据、机器学习免费教程

35本世界顶级原本教程限时开放,这类书单由知名数据科学网站 KDnuggets 的副主编,同时也是资深的数据科学家、深度学习技术爱好者的Matthew Mayo推荐,他在机器学习和数据科学领域具有丰富的科研和从业经验。

点击链接即可获取:https://ai.yanxishe.com/page/resourceDetail/417

目录
相关文章
|
9月前
|
IDE 程序员 API
一文彻底拿捏DevEco Studio的使用小技巧
本文介绍了DevEco Studio的安装与使用,包括其特性、常用快捷键、设置中文环境和文件注释模板等内容。DevEco Studio是华为为HarmonyOS开发者提供的集成开发环境(IDE),最新版本5.0.0增加了多项功能,如工程外模块代码支持、构建字节码har包等,极大提升了开发效率。通过简单步骤即可完成安装,并能轻松查阅组件API文档。跟随程序员Feri一起快速掌握鸿蒙开发!
983 78
|
7月前
|
安全 网络安全
单域名SSL证书跟通配符SSL证书对比
单域名SSL证书仅保护一个特定域名,如`www.example.com`,适合小型网站,价格较低且配置简单。通配符SSL证书可保护主域名及其所有子域名,如`*.example.com`,适合中大型企业,灵活性高但价格较高。选择时需根据实际需求权衡域名数量、预算和管理复杂度。
345 5
|
数据采集 人工智能 监控
赌你一定想要!OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
Label-LLM 是一款专为大模型训练设计的多模态文本对话标注工具,支持团队协作,让标注工作变得简单高效。它不仅涵盖丰富的任务类型,如回答采集、偏好收集和内容评估等,还支持多模态数据标注,包括图像、视频和音频。Label-LLM具备预标注载入功能,能大幅提升工作效率,并提供全方位的任务管理与可视化分析,确保标注质量。快来体验这款强大的标注平台吧![部署文档](https://github.com/opendatalab/LabelLLM)
2347 0
赌你一定想要!OpenDataLab首款大模型多模态标注平台Label-LLM正式开源
|
消息中间件 Kafka 程序员
Kafka内幕:详解Leader选举与副本同步的那些事儿
大家好,我是小米,今天给大家带来一篇关于 Kafka 核心机制的深度解析文章。本文将详细讲解 Kafka 的 Leader 选举、副本消息同步以及相关概念 LEO 和 HW,帮助大家更好地理解和应用 Kafka,提升处理分布式系统的能力。快来一起学习吧!
873 0
|
12月前
|
分布式计算 Java Apache
Apache Spark Streaming技术深度解析
【9月更文挑战第4天】Apache Spark Streaming是Apache Spark生态系统中用于处理实时数据流的一个重要组件。它将输入数据分成小批次(micro-batch),然后利用Spark的批处理引擎进行处理,从而结合了批处理和流处理的优点。这种处理方式使得Spark Streaming既能够保持高吞吐量,又能够处理实时数据流。
195 0
|
JavaScript 前端开发 定位技术
Rest风格WEB服务(Rest Style Web Service)的真相
Rest风格WEB服务(Rest Style Web Service)的真相
254 1
|
存储 缓存 运维
解密一致性哈希算法:实现高可用和负载均衡的秘诀
解密一致性哈希算法:实现高可用和负载均衡的秘诀
1529 0
|
存储 编解码 算法
音视频编程ffmepg中的关键术语与概念:深度解析与实践(二)
音视频编程ffmepg中的关键术语与概念:深度解析与实践
410 0
|
机器学习/深度学习 网络协议 数据安全/隐私保护
Web网页浏览器远程访问jupyter notebook服务器【内网穿透】
Web网页浏览器远程访问jupyter notebook服务器【内网穿透】
|
机器学习/深度学习 搜索推荐 PyTorch
机器学习/深度学习中的常用损失函数公式、原理与代码实践(持续更新ing...)
本文的结构是首先介绍一些常见的损失函数,然后介绍一些个性化的损失函数实例。
机器学习/深度学习中的常用损失函数公式、原理与代码实践(持续更新ing...)