GAN的详细介绍及其应用(全面且完整)

简介: GAN的详细介绍及其应用(全面且完整)

GAN的详细介绍及其应用


introduction


87ade1b79a03c3a165b5957613abeeba.png


Application


姿势引导人形像生成


通过姿势的附加输入,我们可以将图像转换为不同的姿势。例如,右上角图像是基础姿势,右下角是生成的图像。


bd4f3c0f0d6bf5aeb3f6dd56bb3edc02.png


下面的优化结果列是生成的图像。


9f27e9d4f8b397bcdcb61240b185aac8.png


该设计由二级图像发生器和鉴频器组成。生成器使用元数据(姿势)和原始图像重建图像。判别器使用原始图像作为CGAN设计标签输入的一部分。


73628d80b26c50cc01997af5a13416c0.png



CycleGAN


跨域名转让将很可能成为第一批商业应用。GANs将图像从一个领域(如真实的风景)转换为另一个领域(莫奈绘画或梵高)。


7d1330c866a65a2fa0c8e4adf9233150.png


例如,它可以在斑马和马之间转换图片。



57f78f4578386714815cd5b7f8cb662e.png



Cyclegan构建了两个网络G和F来构建从一个域到另一个域以及反向的图像。它使用判别器d来批评生成的图像有多好。例如,G将真实图像转换为梵高风格的绘画,并且DY用于区分图像是真实的还是生成的。

域A到域B:------------------------>

5afa83b6dc010f35c9e919a8c32eedc8.png


我们在反向域B域A中重复该过程:



8c038e991f1f1bba6282cf610dda9c0b.png



PixelDTGAN


根据名人图片推荐商品已经成为时尚博客和电子商务的热门话题。Pixeldtgan的作用就是从图像中创建服装图像和样式。


07e43babf08d4f9cd9d33f2daf913c84.png




328b761064e33428ad50da4ea7f5b024.png


4effa1f26a3786178631ace651e5c5f3.png


超分辨率


从低分辨率创建超分辨率图像。这是GAN显示出非常令人印象深刻的结果,也是具有直接商业可能性的一个领域。


91c46ad04f6a43164e5cee793e658d7a.png

与许多GAN的设计类似,它是由多层卷积层、批标准化、高级relu和跳跃连接组成。


870b79f0a3a91f3db09af6d8a6b2aab7.png


PGGAN

Progressive GAN可能是第一个展示商业化图像质量的GAN之一。以下是由GAN创建的1024×1024名人形象。


16ba10415bbfcf34bd375997a786d46d.png

它采用分而治之的策略,使训练更加可行。卷积层的一次又一次训练构建出2倍分辨率的图像。

a85061635f5afd504958a36559d6ae38.png

在9个阶段中,生成1024×1024图像。

0765799d0587a696de0e8afb62716402.png


高分辨率图像合成


需要注意的是这并非图像分割,而是从语义图上生成图像。由于采集样本非常昂贵,我们采用生成的数据来补充培训数据集,以降低开发成本。在训练自动驾驶汽车时可以自动生成视频,而不是看到它们在附近巡航,这就为我们的生活带来了便捷。


网络设计:


b741341dc7dce64a2de26303f7c03423.png

5a7462bf9d277ebce60bc6ef2bdd7704.png


文本到图像(StackGAN


文本到图像是域转移GAN的早期应用之一。比如,我们输入一个句子就可以生成多个符合描述的图像。


1b4ac817d241f0c4adf701d7dbd6eaff.png


8da4cc950571b9128f95948b214e9095.png


文本到图像合成


另一个比较通用的实现:


80974f51f5fecf1e454bd127b7c28942.png


人脸合成


不同姿态下的合成面:使用单个输入图像,我们可以在不同的视角下创建面。例如,我们可以使用它来转换更容易进行人脸识别图像。


acc56d5569aa8190d07cc8f427bfca86.png

e1b6621920bfee2cd5d7313d841858ee.png


图像修复


几十年前,修复图像一直是一个重要的课题。gan就可以用于修复图像并用创建的“内容”填充缺失的部分。


bcf808db1ecc75a0798054f43aed7da7.png


学习联合分配


用面部字符P(金发,女性,微笑,戴眼镜),P(棕色,男性,微笑,没有眼镜)等不同组合创建GAN是很不现实的。维数的诅咒使得GAN的数量呈指数增长。但我们可以学习单个数据分布并将它们组合以形成不同的分布,即不同的属性组合。


acb15cfe34393a22781b30664b1a4e82.png

1d721426e4fa790c9d123c20afcd9a96.png


DiscoGAN


DiscoGAN提供了匹配的风格:许多潜在的应用程序。DiscoGAN在没有标签或配对的情况下学习跨域关系。例如,它成功地将样式(或图案)从一个域(手提包)传输到另一个域(鞋子)。


59beba704ee4cb638caf2cd60cbf69d7.png


DiscoGAN和cyclegan在网络设计中非常相似。

cee0755a4fb41a65e8e18fbfecdeadac.png


Pix2Pix


PIX2PIx是一种图像到图像的翻译,在跨域Gan的论文中经常被引用。例如,它可以将卫星图像转换为地图(图片左下角)。


0e0f7f84a07e65f0235435946bbb7e74.png


DTN


从图片中创建表情符号。

98d6eaacac60d3e8a1039350b668e773.png


eab55c0309c5cab90155b0a3d41472ea.png


纹理合成

d0c1b42a285515ea7d6be46d1058a265.png

图像编辑 (IcGAN)


重建或编辑具有特定属性的图像。


image.png

image.png

人脸老化(Age-cGAN)


cb96b232d736b336c690ed5dc7e6900c.png


8044a3ceebb748d10bce4bad0417980b.png


创建动画角色


众所周知,游戏开发和动画制作成本很高,并且雇佣了许多制作艺术家来完成相对常规的任务。但通过GAN就可以自动生成动画角色并为其上色。

image.png


使用Generative Adversarial Networks创建自动动画人物角色

生成器和判别器由多层卷积层、批标准化和具有跳过链接的relu组成。

fc85ec71e877cdb23c18e5c9fc828bd2.png

神经照片编辑器


基于内容的图像编辑:例如,扩展发带。

89f045f9caf08c26b97ddec27d8cb7fd.png


细化图像


a4e2985fa10f838529c1679a20eb8068.png



目标检测


这是用gan增强现有解决方案的一个应用程序。


e3e54d8cb337c5a541a909a3cd6f1001.png

图像融合


将图像混合在一起。


684ca7a82f79f48bc5736eb23cd06dd6.png


生成三维对象


这是用gan创建三维对象时经常引用的一篇文章。


340d70479b014bb0fe91d35387628f65.png


音乐的产生


GaN可以应用于非图像领域,如作曲。


23393f2d9cbb3d599b38febbc670590b.png


93ba4bb119408943e36241eb095934f6.png


医疗(异常检测)


GAN还可以扩展到其他行业,例如医学中的肿瘤检测。


1690f896b5f36a438cc03dcac6ce06e1.png

15a9044bf333e359fcac2f8a0ce42f26.png


相关文章
|
2月前
|
机器学习/深度学习 数据采集 人工智能
GAN的主要介绍
【10月更文挑战第6天】
|
2月前
|
编解码 自然语言处理 算法
生成对抗网络的应用有哪些
【10月更文挑战第14天】生成对抗网络的应用有哪些
|
5月前
|
机器学习/深度学习 算法
生成对抗网络
生成对抗网络
|
机器学习/深度学习 决策智能 计算机视觉
理解GAN生成对抗网络
理解GAN生成对抗网络
|
7月前
|
机器学习/深度学习 编解码 数据处理
GAN介绍
GAN介绍
85 0
|
机器学习/深度学习 人工智能 文字识别
生成对抗网络(一)
生成对抗网络(一)
|
机器学习/深度学习 人工智能 开发者
生成对抗网络(二)
生成对抗网络(二)
116 0
|
机器学习/深度学习
从零使用GAN(生成对抗网络)进行图像生成
本项目使用 DCGAN 模型,在自建数据集上进行实验。
311 0
从零使用GAN(生成对抗网络)进行图像生成
|
机器学习/深度学习 安全 PyTorch
生成对抗网络——GAN
生成对抗网络——GAN
150 0
生成对抗网络——GAN