创意对抗网络(CANs)你知多少?

简介: 人类最难让计算机做的事情之一就是创造性地思考。计算机非常善于从事人们精确指定的工作,并且完成的速度非常快。而创造力是一个抽象的概念,把给计算机赋予创造力已经被证明是机器学习方面一个非常困难的的挑战。

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud

0.jpeg

人类最难让计算机做的事情之一就是创造性地思考。计算机非常善于从事人们精确指定的工作,并且完成的速度非常快。而创造力是一个抽象的概念,把给计算机赋予创造力已经被证明是机器学习方面一个非常困难的的挑战。

6月份,罗格斯大学的一篇研究论文介绍了全世界对创意对抗网络(Creative Adversarial Networks,CANs)的想法。从上图可以看出,他们训练的CAN做了一件非常独特的事情,创造出了一个看起来像是由真正艺术家制作的独一无二的画作,但却又不是某件现存艺术品的简单临摹。

这些可能是机器创造性思维取得的最好成果。

CANs是具备创造性思维的GANs

CANs源于生成式对抗网络(Generative Adversarial Networks, GANs),GANs是几年前由Ian Goodfellow和他的同事创建出来的。要了解CANs,你得先了解GANs。

GANs是一种神经网络,它由两个神经网络组成:发生器和鉴别器。

鉴别器的任务是将图像作为输入并确定它们是真实的还是伪造的(即由人类或由发生器创建的)。

发生器的任务是产生新的图像,欺骗鉴别器让它认为图像是真实的。

通过向鉴别器馈送由真实图像和发生器创作的伪造图像组成的混合图像,鉴别器学会了识别图像真假的模式。同时,发生器获得了有关哪些图像最能欺骗鉴别器的反馈,以及如何改变自身的策略来更好地欺骗鉴别器。

鉴别器和发生器之间的竞争促使它们更好地完成各自的工作,而且如果GANs训练正确的话,发生器输出的结果看起来可能会出人意料的真实

CANs的架构几乎与GANs相同,但是通过一个关键的附加功能,发生器就可以进行创造性地“思考”了……

鉴别器不仅要学习如何区分每个图像的真假,还要学习如何将图像按25种艺术风格进行分类(例如:立体派、抽象、文艺复兴、现实主义等)。

发生器不仅要欺骗鉴别器,让它认为这些生成的图像是真实的,还要让鉴别器难以将这些图像按25种艺术风格进行分类。

CANs是如何工作的?

为了理解为什么将图像按艺术风格进行分类这个功能能够让发生器创造性地思考,我们需要一个机器可以模仿的关于创造力的具体定义。

当一件艺术品是独一无二,但又说不清无法判断的时候,观众们就认为这是创造力。正是基于这样的理论,激发了CANs的产生。我认为,罗格斯大学的研究人员在他们的论文中描述了这么一种动态。

唤醒潜力太低,被认为是无聊;规避系统触发得太多,则会导致负面反应。

让我们回过头来想想这个与CANs的架构有什么关系。通过奖励发生器生成那些鉴别器无法按艺术风格进行分类的图像,来迫使它生成独特的(有创意的)图像。同时,由于发生器仍然需要欺骗鉴别器让其认为图像是真实的,所以发生器不能生成明显不同的图像。

这样,CANs就模拟出了我们如何看待艺术创造力这个定义。

艺术观众几乎分辨不出差别

1.png

上面这个表格比较了人类观众对四组艺术作品的评分。 DCGAN图像由标准的GAN创建(无艺术风格分类,无法启用创造性地思考)。这些图像看起来很像真实的艺术品,但他们与预先定义的艺术风格很接近。他们不会创造性地思考。

CAN图像集显然是由创意对抗网络生成的一组图像。

抽象表现主义(Abstract Expressionist)和巴塞尔2016艺术展(Art Basel 2016)数据集都是现代艺术品的集合。抽象表现主义数据集由1945年至2007年间创建的图像组成; “巴塞尔艺术展2016”则是在巴塞尔艺术展上展出的那些图片,它是当代艺术展的旗舰。

令人印象深刻的是,来自CAN数据集的图像在新奇、惊奇、歧义性和复杂性方面的排名都最高。它们也更能欺骗观众认为这些是由人类创作的,而不是GAN生成的。

此外,CAN的创造者们认为,CAN和抽象表现主义图像集之间另外一些或者大部分的差异是CAN创造性思维的结果。抽象表现主义数据集中的图像对于艺术观众来说非常熟悉,因为它们很老,并且与预定义的艺术风格非常契合。但与巴塞尔2016艺术展的图像集相比,艺术展上的图像是人类最难区分真伪的。

你可以认为,人类发现巴塞尔2016艺术展的图像集最难区分真伪的原因是因为这些图片更有所谓的创造性。推而广之,也许对于CAN来说,创建出让人类难以区分真伪的图像比创造某个熟悉的艺术风格的图片更难。

无论如何,CANs都是在机器创造性思维方面在艺术方面的巨大突破。

如果你想阅读罗格斯大学的这篇关于CAN的研究论文,可以在这里找到。

文章原标题《What are Creative Adversarial Networks (CANs)》,作者:Zack Thoutt,译者:夏天,审校:主题曲。

文章为简译,更为详细的内容,请查看原文

相关文章
|
11月前
|
机器学习/深度学习 算法 TensorFlow
轻量级的对抗生成网络库
轻量级的对抗生成网络库
90 1
|
6月前
|
机器学习/深度学习 TensorFlow 算法框架/工具
【Keras+计算机视觉+Tensorflow】DCGAN对抗生成网络在MNIST手写数据集上实战(附源码和数据集 超详细)
【Keras+计算机视觉+Tensorflow】DCGAN对抗生成网络在MNIST手写数据集上实战(附源码和数据集 超详细)
121 0
|
6月前
|
机器学习/深度学习 编解码 TensorFlow
【Keras+计算机视觉+Tensorflow】生成对抗神经网络中DCGAN、CycleGAN网络的讲解(图文解释 超详细)
【Keras+计算机视觉+Tensorflow】生成对抗神经网络中DCGAN、CycleGAN网络的讲解(图文解释 超详细)
153 0
|
机器学习/深度学习 编解码 自然语言处理
深度学习进阶篇[9]:对抗生成网络GANs综述、代表变体模型、训练策略、GAN在计算机视觉应用和常见数据集介绍,以及前沿问题解决
深度学习进阶篇[9]:对抗生成网络GANs综述、代表变体模型、训练策略、GAN在计算机视觉应用和常见数据集介绍,以及前沿问题解决
深度学习进阶篇[9]:对抗生成网络GANs综述、代表变体模型、训练策略、GAN在计算机视觉应用和常见数据集介绍,以及前沿问题解决
|
机器学习/深度学习 编解码 人工智能
NeuraIPS 2022 | 最新类别感知对抗Transformer分割网络CASTformer
NeuraIPS 2022 | 最新类别感知对抗Transformer分割网络CASTformer
268 0
|
机器学习/深度学习 编解码 异构计算
Text to image论文精读 StackGAN++: Realistic Image Synthesis with Stacked GAN(具有堆叠式生成对抗网络的逼真的图像合成)
这篇文章主要工作是:将原先的Stack GAN的两阶段的堆叠结构改为了树状结构。包含有多个生成器和判别器,它们的分布像一棵树的结构一样,并且每个生成器产生的样本分辨率不一样。另外对网络结构也进行了改进。 文章被2017年ICCV(International Conference on Computer Vision)会议录取。 论文地址: https://arxiv.org/pdf/1710.10916v3.pdf 代码地址: https://github.com/hanzhanggit/StackGAN-v2
Text to image论文精读 StackGAN++: Realistic Image Synthesis with Stacked GAN(具有堆叠式生成对抗网络的逼真的图像合成)
|
机器学习/深度学习 编解码 计算机视觉
Text to image论文精读 StackGAN:Text to Photo-realistic Image Synthesis with Stacked GAN具有堆叠生成对抗网络文本到图像合成
本篇文章提出了叠加生成对抗网络(StackGAN)与条件增强,用于从文本合成现实图像,被2017年ICCV(International Conference on Computer Vision)会议录取。 论文地址: https://arxiv.org/pdf/1612.03242.pdf 代码地址: https://github.com/hanzhanggit/StackGAN 本篇是精读这篇论文的报告,包含一些个人理解、知识拓展和总结。
Text to image论文精读 StackGAN:Text to Photo-realistic Image Synthesis with Stacked GAN具有堆叠生成对抗网络文本到图像合成
|
移动开发 算法 算法框架/工具
DL之DCGAN(Keras框架):基于keras框架利用深度卷积对抗网络DCGAN算法对MNIST数据集实现图像生成(保存h5模型→加载模型)
DL之DCGAN(Keras框架):基于keras框架利用深度卷积对抗网络DCGAN算法对MNIST数据集实现图像生成(保存h5模型→加载模型)
DL之DCGAN(Keras框架):基于keras框架利用深度卷积对抗网络DCGAN算法对MNIST数据集实现图像生成(保存h5模型→加载模型)
|
机器学习/深度学习 算法 Java
GAN对抗网络入门教程
A Beginner's Guide to Generative Adversarial Networks (GANs) https://skymind.ai/wiki/generative-adversarial-network-gan
423 0
GAN对抗网络入门教程
|
机器学习/深度学习 人工智能 自然语言处理
ViTGAN:用视觉Transformer训练生成性对抗网络 Training GANs with Vision Transformers
ViTGAN是加州大学圣迭戈分校与 Google Research提出的一种用视觉Transformer来训练GAN的模型。该论文已被NIPS(Conference and Workshop on Neural Information Processing Systems,计算机人工智能领域A类会议)录用,文章发表于2021年10月。 论文地址:https://arxiv.org/abs/2107.04589 代码地址:https://github.com/teodorToshkov/ViTGAN-pytorch 本博客是精读这篇论文的报告,包含一些个人理解、知识拓展和总结。

热门文章

最新文章