当设计遇上AI

2017年2月22日云栖TechDay29期，淘宝高级交互设计专家乐乘带来题为“当设计遇上AI”的演讲。本文主要从多维、闭环、在线的设计数据化开始谈起，接着着重分析了设计智能化，包括走过的坑以及设计智能的四个步骤，最后对设计跨界AI进行了分析总结。

伴随着数据的爆发和算法技术的进步，人工智能势必给各行各业带来深远变革。设计这个行业兼具艺术的感性和商业的理性，它与人工智能可以碰撞出什么样的火花呢？下面我们来一起聊聊在阿里电商平台上用人工智能做设计的探索和思考。

以下是精彩分享整理：

阿里之前在设计与AI结合过程中做了哪些尝试?

我们在淘宝平台上做的事情，比如有运营人员搞一个活动，会找到设计会提很多的需求，要什么颜色、放什么商品、写什么字，都需要按要求画出来。淘宝每年双十一双十二大促，都有成百上千万素材广告要投到线上，对设计师而言是一个非常繁重的工作，但设计深度还是比较浅的，因为它经常是重复的、短期的一些设计成品，可能一个广告放在线上，投一两天就结束了，这是过去的状况。

对于做商业运营的人来说，这样做广告图片有一个很大的弊端。首先图片人力成本；其次是选什么商品放广告图上很纠结；第三是千人一面，一张图片放到广告位里面，看到都一样；最后就是点击衰减，比如今天一个活动投到一个点位上，一天不动下午点就掉的很厉害。

我们做一个产品想从设计数据化层面把弊端解决掉，所以把广告分解成三个层面：主题风格、投放商品和投放文案。设计师负责把主题风格定义好，运营人员去选择里面的商品和字，然后我们会有在线合成，把这些商品跟文字、模块做组合，合出大量的广告图片。可以看到这些广告图片有一个特点，虽然风格是一样，但是里面的文字和商品变了，跟过去比不同的是，现在运营人员选一万个商品，就生成1万张广告图片。

另外一个很大的变化是，今天每张图片背后不再是一张简单的Banner广告，背后会带上两个对应的，比如一张图片会带上两个商品信息。每个Banner里面带了两个商品ID在里面，这样就跟整个淘宝数据关联上了，这样就可以根据消费者偏好推荐最适合展现的Banner广告。我们会把这些Banner广告生成一个投放的链接，放在各个广告位上，用户会在手淘各个位置看到这些图片。

像这样一个系统，今天在商业上会带来一个非常直观和明显的价值，我们今天能够让一个广告位的投放点击效果翻倍，能比过去引导的分流能力提升一倍，这是我们过去一年在淘宝平台上得到的一个验证结论。

去年双十一期间，大家看到整个手淘最顶部的广告图片，都是我们系统投放出去的。所以我们核心目标是把原来的设计变成数据，把它从一个单纯象素图片变成整个电商平台上面可被使用和计算的数据。在这个系统里面，我们的角色不再是一个做设计的人，我们变成一个生产数据的人。原来一张商业广告只是互联网上的图片连接，不放任何信息，经过我们做完展现给消费者产生的所有点击数据都是非常宝贵的信息。

设计数据

设计数据化关键的地方是要把原来单一维度的变成多维，这样得到三个维度信息再嫁接上底层电商平台更多数据会产生非常大的价值。

构建数据闭环

第二个关键的地方是，首先我们把设计标准化了，因为按传统手工方式做设计，所有设计都是一次性的、临时的产生一个结果，我们现在把它拆成模板、文案跟商品以后，其实是被我们做了一次标准化；有了这个之后，我们就可以用机器像流失线一样去生产大量的Banner广告，去年双十一期间，我们累计在线上投放广告图片有1.71亿张，这就是机器流水线带来的价值；最后就是今天产品的模式，包括对运营人员的使用，操作易用性也是很关键的，我们要足够降低生产成本，提高效率，才有可能让一种新的模式取代旧的模式。

除了以上三点，设计变成数据后，还需要形成一个数据的闭环。商家负责提供原始商品素材的，然后平台上的小二做加工，把一个商品图变成广告，再通过机器智能投放，把它分发给不同消费者，最后用户通过点击消费来为看到的所有数据进行投票。整个过程数据是一个闭环，从最初的生产到加工，到投放到数据的回流，包括持续帮我们提升每个广告的投放效果，所以数据的闭环非常重要，如果某一步断掉了，这个系统就很难长期运营下去。

数据化以后带来很大的价值，在线、可计算。云计算带来的价值就是，原来一张设计稿或者一张广告图片做完以后，可能就存在设计师电脑里面，用完就废掉了。而当它变成一个在线的系统，经过个性化投放以后，所有数据都会存储在我们的平台上，而且它是能够反复去增强的。

举去年双十一为例。我们男装和女装有两个活动会场，一共投了两个素材，一是做了9万张，一是做了10几万的广告素材。历次做活动，不管是男装女装，只要同时投放一定是女装的点击效果好。但是去年双十一发生一个很好玩的现象，去年男装有几天点击超过了女装，发生了什么事情？当数据变成在线可计算以后，存在我们的平台里面做分析，我们看同一天点击这两个广告的消费者的性别对比，发现点男装会场男性用户是56%，女性用户是44%，接近一半的女生在点男装的广告，反过来看女装点击绝大部分是女性，男性用户点这个女装只有14%，所以从数据层面来看，其实是女生在点男生的男装会场。

今天我们有海量的数据在线投放，里面的数据颗粒度变的越来越细，维度越来越复杂的时候，对整个商业运营还是设计分析，包括未来的改进都能带来很大的价值。

所以，数据设计化其实就三个关键点，就是把设计变成一个多维、闭环、在线可计算的数据资源，这对设计来说是一个很大的观念转变。

设计智能化

讲了这么多数据化，那设计跟AI又有什么关系？

从做广告图片设计这个场景来看，过去其实是一个手工作坊时代，给你多少活就做出多少，到去年为止变成一个机器化、个性化的时代，用机器做生产，用个性化跟消费者的偏好做投放，就变成了千人千面，既然机器能够帮我们合成这些广告图，那它能帮忙设计广告图吗？如果机器能自己设计广告，它跟设计关联会有更深的影响，整个设计行业可能也会带来很大的改变。所以我们就决定起一个新的项目，想把电商的广告图片从机器合成时代变成用机器设计来实现，这是一个很让人兴奋的主意，场景前景非常远大，但是用AI做设计真的可靠吗？

完整的答案现在还没有摸索到，可以与大家分享一半的答案。最开始设想是这样的，未来一个广告图片，机器设计广告确定一个商品，确定一个风格给到平台产品，就像用美图秀秀滤镜一样，选一个照片滤镜就变的很好看了。在我们系统里面，确定一个要投放的商品，选一个风格，就变成一个广告图，而且广告图是符合你期望的广告图，这是我们最大愿景。根据一个商品的原始素材，智能机器人会去寻找跟它相符的背景元素，比如说一个碎花连衣裙，它自己会去分析找到一个跟它的纹理风格相近一个花朵背景。

机器还有几个能力如下：

1.         机器人具备构图能力，一个广告构图总结下来就几十种，这是可以穷举的，或者是有规律的。

2.         机器人具备自己的配色能力，它能够学习设计师的配色经验和配色数据，根据商业需求或者业务场景自己完成配色。

3.         机器人具备修饰元素能力，除了背景元素和构图以外，经常会往里面放修饰，让广告看起来比较热闹，或者符合氛围。

通过这些步骤后，就能够自己完成一张广告图，而且能够满足正常的商业需求。

目前我们的进展跟前面描绘的场景差不多，就是选一个商品，然后选一个风格，打几个字就能合成广告图片，但是目前设计设备离真正大规模商业应用还有一定的差距，我们还在花时间打磨里面的数据跟效果。接下来我来给大家讲下我们是怎么做这个事情的，以及过程中踩过的坑和思路。

输入大量规则让机器学习设计师方式？

有了这个构想，团队就着手开始做事，设计师首先做的就是提炼规则，提炼大量的设计经验跟规则给机器算法，让他去学。以如图的广告为例，背后一些设计规则大概是这样的，背景主色跟商品要取近似色，文字离商品多远最合理，还有文字不能直接放在复杂背景上，如果背景很复杂，要垫一个底色让它看起来更清楚一点。

按照这个方式进行了一个月的探索，发现这条路完全行不通，因为今天设计规则跟它遇到的情况是无穷无尽的，没法穷举所有的设计规则跟遇到的判断。设计师是经过多年训练才具备这个能力，设计水平越高，经验越丰富。对机器来说，它今天有可能遇到两个相互矛盾的规则，或者规则没有学会就会做一个很糟糕的结果，规则太复杂，没有一个专家系统能够解决设计的问题。所以后来算法专家跟我们说，你们少点设计套路，多给我们一点数据，因为光给规则，是做不出来我们想要的设计智能的。

于是，我们就换了一个思路，我们不谈规则，不指望通过规则让机器完成学习和完成智能设计。那么，我们能不能把所有的东西都变成数据输入给机器，让数据本身训练呢？

对此，我们分四个步骤着手来做：

1.        设计数据化：更多维，机器可学习

我们把设计拆借为更细力度的数据。之前我们只是把数据拆成商品、模板、文案文字这三层，现在我们想拆的更碎、更细的数据让机器能够接触到，以上面广告图为例，我们会把它分成主体、修饰、蒙版、背景，我们把在广告设计里面都会用到的设计元素拆解出来，大概分成了6大类，十几小类，先把这些设计元素标类，这样机器才知道衣服是主体，黄色是用来区域修饰，蓝色的波点是背景，这样它就知道一张设计里面有什么构成，以及它和这些元素组合在一起之后的图片风格。这就把数据变成了更细的数据。

2.        数据规模与质量，标注让机器可理解

接下来就是搜集和生产大规模设计数据，比如我们按5分到1分，把各个水平各个档次设计东西整理好，按定义好的数据模型标注好一些数据，5分的目前有10万级别的设计原始数据，让它标注成机器可以理解的各种格式，机器就知道设计师历史上做过哪些设计，这样做能得多少分，机器会基于这个去做，这就是机器智能的原始底料。

3.        机器学习，训练模型

第三步，当我们拿到大量设计元素后，机器基于训练发现里面的模型和规律。这一点与Alphago是有点接近的，围棋也是在一个网格里面，一个19×19的棋盘里面放黑子和白子，而我们设计是在一个网格画布里面放各种各样的建议好的设计元素和类型，只是我们放的内容不一样。我们会从前面提供的海量设计数据里面去提炼出概率和可能性，比如今天我们给它一个撞色风格，给它几千几万个设计素系后，它就知道在撞色风格下，它往这边放商品的下一步会在下边放一个黄色原点的概率是非常高的，它从设计里面训练出模型后，就会根据历史信息自己做决定，我们是按历史数据里面得到的概率和模型往里面填元素。而且，对设计来说，我们要生产一个最终的成品，我们按规定好的步骤走好每一个元素的摆放以后，得到一个成图，也会给它打分，告诉你做完这是5分的设计，这是3分的设计。目前是通过人的方式给他反馈，因为我们没有一个输赢的概念，所以我们给它正向和负向打分来完成。

4.        生成树，生成设计结果并评估

最终我们会生成大量的成品出来，有些是机器自己打分，有些是我们专家角色打分，给它一个反馈，它就可以从这里面训练跟学习出设计的经验来，这就是我们目前看到的，如果接下来接口不出错的话，基本原理就是这样，这里面的复杂度和坑远远不止这些。

这其中很关键的是思维变化以及设计数据算法之间的转化。从一个设计角度看，它可以分四层：

• 最底层的是美学，我们判断美丑的一些最基本的美学原理。

• 再往上一层是各种各样的设计手法。黄色猫头那种设计的手法可能是居中对齐手法。

• 结构层是讲所有信息的摆放。

• 最上层是表现层，与颜色、纹理、渐变、质感有关，如果变成数据的话，就把它转化为一些系统可理解的参数。比如风格会分类，结构层表示大小位置就是在坐标、大小、形状上，我们用图像特征提取的方式把它识别出来，标注在元素里面，这样就变成纯粹的数据问题，把设计问题转化为数据问题，这样设计和AI之间就能建立一个通道和桥梁。

所以设计智能化，我认为它是设计数据化的一个延伸和升级。数据化是最基础的理念，变成设计智能就一定需要几个关键点：

1)         能够构建一套数据模型，把设计转化为数学模型去解决。

2)         机器基于模型加大量的数据，训练出自己做判断的决策能力以及决策的水平。

3)         还有评估，今天机器不知道美跟丑，因为审美难变成一个数学问题。我们通过评估方式解决问题，把审美变成大量的数据，评估数据输入给机器，让它基于此去做训练。但是我们也没有想明白如何让机器去评估一个设计成品，所以评估我们下一步会花很多时间去研究和探索。

设计跨界AI

那么，设计与算法如何协作？设计作为半艺术半功能的东西，跟纯数学模型的东西之间是怎么建立桥梁的？

这是设计的世界，设计师关注风格、形状、趋势、美丑。而图像在算法眼里是一堆看不懂的数学公式，虽然每个字母都懂，但连在一起就一点都不懂了。所以我们一方面要了解，一方面自己要去判断，因为这是两种思维的世界。所以有过工程或者计算机背景，现在又是干设计的，既懂算法又懂设计，未来一定是非常有前途的。

从专业出发

所以当设计背景跟算法背景合作的时候，首先就是从专业出发，一切数据化，要建立很明确的数据概念；其次我们要有运营专家数据，对机器来说，它需要大量专家专业的知识跟数据告诉它设计是什么样的，所以我们团队目前在为机器人提供所有数据；还有设计知识库，这个知识图谱在Banner广告设计领域下，还是可以被提炼和抽象出变成机器的辅助知识库，不断去构建和打磨一些设计知识，形成一个图谱让算法来应用。

跨界

我们今天站在自己专业角度跨到算法过程中，可能没有办法理解怎么实现的，但是我们要知道它是什么原理，要理解算法基础原理；另外也要了解算法边界，以目前计算能力跟它的算法水平，它能做到什么程度，这对我们做这类产品非常重要，我们知道它的能力范围，方便为门去打磨产品；最后一点，还是要回归到专业跟用户的场景下，算法有数据以后能做出好的效果来，但是它并不懂设计的场景，设计流程是怎么样的，设计的评估体系怎么样，所以我们还是回到场景来看。

努力攻克的问题

• 下一步努力攻破数据的增强，因为今天的设计数据市面上是很碎片的，而且没有被数据化，躺在全中国可能几千万设计师的电脑和硬盘里面；

• 设计评估体系，怎么评估跟判断一个设计好坏；

乐乘：超过10年互联网从业经历，8年电商产品设计经验，曾负责淘宝搜索、无线、双十一会场等产品设计工作。现负责搭建阿里智能设计平台，主要专注于人工智能与商业设计结合的研究实践和产品落地。