基于机器学习平台PAI的AI绘画最佳实践（一）

算力赋能AIGC专题训练营：基于机器学习平台PAI的AI绘画最佳实践

课程地址：https://developer.aliyun.com/trainingcamp/5c9aaef8f02e49dbb0a8dc961ac71248

基于机器学习平台PAI的AI绘画最佳实践

 

内容介绍

一、自我介绍

二、AIGC带来的两个大方向

三、Ai绘画的产品方向和策划阶段

四、AI面临的问题

五、阿里云gc平台PAI的产品

六、场景应用

七、PAI-EAS的产品能力及其特点

八、模型部署的方法和好处

九、OSS和NAS的区别

十、PAI dsw的SDWebUI方案

十一、PAI WebUI方案优势

十二、PAI WebUI的使用场景和举例报价

十三、PAI-SD-API-方案优势和举例报价

十四、AIGC模型训练及微调

十五、LLM大模型训练和部署

十六、PAI灵骏智算服务

十七、客户使用产品观点

十八、产品介绍

十九、产品试用展示

 

一、自我介绍

大家好，我是来自阿里云智能机器平台PAI，负责AI推理产品的负责人李林杨，今天我想跟大家交流的话题是关于如何在云上的机器平台开启您自己的AIGC的创新之旅。

 

二、AIGC 带来的两个大方向

提到AIGC，现在可谓是我们当下最火热的方向之一。今天AIGC带来了非常大的生产力的变革，大家都觉得可能是下一个时代。在这个里面，具体能有哪些的机遇在里面，伴随着这个机遇，有哪些的矛盾，在哪些的困难，有哪些的挑战需要去解决的，这是我今天第一个分享的背景。基于这样的一个机遇和挑战，第二部分会分享如何在阿里云机器平台PAI，一个云上的机器平台机器学习平台产品上面去全站的支持AAGC的业务发展，最后我会以一个客户视角为例，带领大家看一看，具体客户是怎么去实现用阿里云平台PAI实现整个AIGC的创新之旅。

 

三、Ai 绘画的产品方向和策划阶段

回到第一部分是今天AIGC它到底带来了什么东西，它又有哪些的挑战呢？坦白讲，今天AIGC已经随着chat GPT和sabo division大的社区，已经完全火爆了整个的生产方式。

今天看到有两个非常大的方向，一个大的方向叫做AI的绘画。在这个领域，今天看到是以stability fusion，包括它带来的整个开源社区像hungry face model le scope，包括C站上面有非常大量的contributor去贡献这个社区，然后可以通过这个stability version画出非常精美绝伦的这样的作品，并且这样的作品正在变成我们生产的一种方式。

在原来的情况，可能都是一大堆的美术设计师他们去绘画，在现在这个领域是变成全部交给AI去规划就好了，这个对于我们现在的游戏行业，互娱行业都会带来一个非常大的生产力的变革。

AI绘画除了这一部分，第二部分就是会以chat GPT通义千问为主导的整个大模型的市场。我们知道今天大模型带来了大家原来完全无法想这样的一种交互方式。它已经完全超越了可能在我们图灵测试的一个角度去理解的，对面是机器还是人类。由此，我们其实产生了大量的想象力，他能去做什么。今天在市场上，AI绘画真的产生了非常大的生产力变革，它替代了非常多美术设计师的工作。但是在大大模型领域，我们其实更多的是在探索这样的机会，我相信这个未来一定会带来很大的业务的变革。但是今天很明显，sleep in function为主导的AI绘画占了整个AIGC市场应用的上风。所以今天会以AIGC这个角度为一个切入点，去带领大家去看一下今天AIGC AI绘画它能做什么东西，以及怎么去实现这样的东西。AI绘画现在整体来说分成几个大的产品的方向，第一个是open AI，它主导的大delta e这个东西我们都知道，其实今天使用者和整个的效果其实并不是特别的广泛，但是由于它这个背靠着open AI这棵大树，今天它要带来很大的流量。第二是叫mid journey，这个东西在to c的市场是非常火爆的。

大家都觉得简直是无所不能，花了非常多很精美绝伦的作品。它带来的一个很大的问题是它是针对一个to c市场的。to c的在这个里面它很难赚钱，都知道mid journey它是血亏的，他的亏损是非常严重的。那他怎么样去做商业化，他怎么样去做定制化为企业去服务，坦白讲今天很难做。与此相对比而言的，是我们今天要讲的这个主角是stable diffusion。他今天围绕着stability version他做了大量的开源的社区，有这样模型社区，像C站这样的模型社区去贡献这个模型的。在上面你可以下载，你可以看到非常多大神做的这个模型，以及他们绘画的内容。另一块是除了这个模型社区以外，还有外部UI的社区，弄了一整套对用户使用非常友好的一套界面。所有的设计师不需要写任何一行代码，都可以在上面很快速的实现的AI绘画的旅程。

今天我会再以一个很实际的角度，今天我们其实见到了拜访了非常多全国包括世界上其他的一些国家，很多的客户，会发现在游戏行业AI化走的真的非常的靠前。今天此时此刻有非常多的游戏公司，他们在用AI绘画做很多很多之前我们无法想象的事情，并且节约了大量的人力，并且降了他们的成本的同时，提高了他们的生产效率。在游戏的这个行业，我们都知道游戏这个成本是非常高的。它总计会包括成研发成本和发行成本。所谓的研发成本是前期你要绘画这些所有的IP，你要想到这个游戏的点子。然后你要做每一帧的图片，你要做所有的IP你要做里面所有的设计，这里面都要耗费大量的美术成本。另外一块就是发行成本，也就是我们所说的买量，要做非常多的线上的一些PR的内容，要做大量的海报，他们也是非常需要美术的成本。在原来的里面，这些所有的无论是研发阶段还是发行阶段，所有的美术全部都有人去做，那现在全部都可以交给AI去做，而且AI做的非常的好。与此同时他给您带来的降本，您可以节省大量的美术设计师所做的工作全部交给AI去做。我们有做了一个统计，在一这样一款游戏里面，整个美术占比差不多是50%到60%。

在这个行业里面在这个领域里面，如果AI去替代人力，总计能为您在这个游戏中的总成本下降60%到70%，这是一个非常夸张的数字。带来的可能就是上亿成本的节省。不但是节约成本的问题，更快的是它带来了增效。在原来人去画画，可能画一幅这样的插画，一个IP的绘画，它需要7到30天去绘画。今天用AI不到一天就可以去完成，而且可以批量式的生成，只要你的计算资源足够。所以他做让您做项目的速度变得非常的快，是之前无法想象的这样的生产效率，这势必我从降本和增效来说，AI都给整个游戏行业带来非常大的生产力的变革。

具体再去讲，AI绘画在哪些角度，哪些阶段具体能够做的事情。今天讲第一个是策划阶段，就是您今天想做游戏，但是我没有想好我要做什么，包括我的IP是什么样子，我都没有想好。今天AI可以给您提供大量的灵感，AI可以成批量式的生成几千张几万张的图片，让您从这些图片中获取灵感。

让你想到你要创造的IP是什么样子的，你的这个游戏的画风是什么样子，你的游戏的背景是什么样子的。让您快速的去生产创意，然后付诸下一步的实践。创意阶段搞定的下一阶段要做，下一阶段做的时候，就要去制作很多的素材。像游戏里面对，比如以原神举例，原神里面有非常多的角色，这些原角色就是素材，这里面有非常多的背景，这些地图里面的城堡，这些地图里面的门，这些地图里面的山川河流都是非常多的素材要去生成的。包括玩家，他们有勋章，有宝箱，有武器等等的东西，也可以大批量的让交AI去创作，然后去极大的降低自己的成本的，同时提升自己的生产效率。

创造好素材之后，下一步就是你做好这个游戏之后，无疑要做的一件事情就是发行。

发行的过程中更是一个非常耗费绘画美术资源的一个过程。因为你像左边这样一张图片，原来人画的话可能需要七天的时间。现在AI只需要把每一个角色生成，您把AI绘画里面的角色抠出来，放在一张图片里面去合成一张海报，就可以很快速的去生成一张海报，并且可以批量式的做大范围的个性化的推广。这个在之前的非AI的时代是完全无法想象的一个阶段。这个里面也会降低很大的一个成本，并且让您的这个生产效率得到一个极大的飞跃。

最后就是AI不仅仅让游戏的生产跟发行产生了质的变化。更重要的一点是他今天也改变了游戏的玩法，在与原来的游戏里面，可能说NPC跟他的互动，都是固定好的台词本，包括它生成的一些东西。今天AI绘画带来的在游戏里面这家可以根据自己想要的风格去创造自己的背景，创造自己的IP，创造自己的角色，创造自己的勋章体系，让整个游戏的趣味性变得更好玩。在原来是完全无法想象，因为谁去生成是个问题，这是不可思议的，现在通通交给AI，AI能做这件事情让整个游戏的玩法变得更加的丰富多彩有趣。

 

四、AI 面临的问题

提到了前面提到了很多游戏的生产、发行，包括一些玩法的改变。回过来说，AI这么牛，今天AI的问题是什么，就是大家都在的需求的现状，它的这个矛盾点是和它的挑战是存在着。

 

首先第一点叫建设成本高，因为AI需要大规模的算力。大多数公司去如果你想做这个事儿，要么就需要布置一些4090的显卡，这些会导致您前期的投入成本特别的高，并且这个资源到手里就相当于没有办法做到弹性，这个会造成您的资源使用率低，并且整个的前期投入会比较高，并且难以去做下一步的周转。

第二步是在讲团队的协同是比较难的。今天我们可以看到，在一个游戏公司里面，我们会分成两个大的群体，一个是美术师，另外一个是做it运维部署服务的同学。在原生的SDYBUI里面，这个slip diffusion里面，所有的内容都需要单人对应单卡的去部署，然后每一个人有自己的链接，这个的运维成本是极其的高的。一般的团队是很难cover住如此巨大的运维成本，这是自建带来了很大的坏处。后面会讲到那云怎么去完美的解决这样的事情。

第三点就是基础支持，今天stable division的社区蓬勃发展，每一天都有无数的版本去发行。那今天如何去赶上最新的这个版本，如何让我们的美术设计师拿到业界最领先的生产力工具呢，今天交给一个公司去运维，一个公司的运维团队运维，这是真的很难的一件事。今天云也可以很好的解决这个问题，这是这些面临的问题，下一步就会讲到。

 

五、阿里云 gc 平台 PAI 的产品

 

讲到我今天带货的主题，阿里云GC平台PAI是怎么样帮助您支持这场全站的AI这次的业务发展呢，我们先来说什么叫PAI，今天说PAI阿里云上面一款全站的机器学习平台，它支持整个AI的全站式的一站式应用。从最开始的数据标注，我们有ipad，就是您把数据打标，让它可以去做训练，这是为数据的第一步，所有的AI都得先为数据，为这个数据它需要打标，用提供了ipad一款标注工具去做这个事。打好标的数据，下一步您需要建模，我们提供了两个方法去建模。第一种方法是designer的可视化建模，在这个designer里面，我们会集成很多把所有的算法组件化，把它变成一种可拖拉拽的pipeline的形式让您不需要写任何一行代码情况下快速构建自己的建模系统，一个pipeline。这样对新手和普通用户是特别友好的。今天算法工程师也提供了交互式的建模。在交互式的建模的产品DSW里面我们集成了jupiter lab这个terminal，包括这个code的一些开源的产品。在这个里面，您可以通过自定义代码的形式快速的去做你的建模。建好模之后，下一步需要把模型训练起来，你需要DLC这一款模型训练的平台，就是把它把您写好的代码变成一个模型。我们提供的是DLC这样一款产品，提供了大规模分布式一套训练的底层的框架，让您更好的去支撑您业务去做大规模的模型训练。模型训练得到的结果会得到一个模型，这个模型本身是没有什么价值的，模型需要把它部署成一个服务或应用，被您的业务所集成。我们提供的产品叫做EAS一款产品。可以把一个模型变成一个服务，变成一个应用，让您更好的被自己的业务集成，从而完成全站式的AI的机器平台。除此之外，也支持很多AI加速的产品，让您的训练跟推理变的速度更快，并且节省了更多的资源。包括像快速开始对新手更也好，可以让您在不写任何一行代码的情况下，快速拉起一个训练任务，以及快速把你的模型去部署。然后诸如等等的能力构成了今天这样一款阿里云机器平台PAI的产品。

六、场景应用

大致的讲完了PAI的产品都有什么东西，这个产品本身对您是可能没有任何意义的。我们今天要讲在什么样的场景里面，你会遇到什么样的场景。然后在这个场景里面怎么样去用到我们机器平台PAI产品。

第一个场景我们叫做sleep deficient web UI的场景。这个场景是比较耳熟能详的。今天我们美术设计师所有人都会去B站学习，因为上面的教程实在太多了，所有的美术会去上面去学习怎么用这个东西，而且不需要写那样代码去把它拉起来。像B站有秋叶的电子菩萨，给大家科普了非常多。我们是如何去做sleep in division web UI这个场景的，第一点其实是在整个开源社区封装了SDYUI的镜像，让您可以非常快速的把SIBUI的服务拉起来，并且做了非常多集群化和权限的管理，让您可以非常便捷的去管理自己的整个的应用体系和团队的建设。

 

七、PAI-EAS 的产品能力及其特点

我们到底又提供了哪些具体的功能去让您把它用的更爽呢，您部署一个外部 UI，您其实本质上需要的一款产品就是今PAI-EAS这一款一站式的AI推理平台。在这个EAS从产品本身的能力上来说，我们会支持几点。

第一块叫做实时的对同步推理。比如说你今天实时发送一个请求，比如今天跟chat GPTT说请教我一个五天学习PYTHON的方法，那它可以同步的去快速的去把一个流失的推理结果返回给您，这是一个同步的过程。比如说异步的推理，比如今天我需要做一些图片的处理，比如OCR的处理，包括AI绘画，我也可以通过异步的方法去极大的提高自己的集群的利用率，降低自己的成本。然后不需要实时的拿到结果，等到有算力的时候帮我去算就好了。再包括就是我离线准备了一大批数据，提交离线的批量推理的任务，一整套的这个推理的场景，我们都是支持的。

PAI-EAS从整个架构层会分成三大层。最底层是基础设施层，我们提供了丰富的异构的资源。比如说CPU，GPU, 包括我们强烈推荐的强占型实例。GPU今天推出了这个全新发布的GU30这款机型。GU30它是完美适配SDYBI这个场景的，它的价格是普通线上A10的价格要比它便宜45%。在此基础之上，它的性能却跟A十是完全一致的。所以是让我们这今天的客户在云上享受的一个巨大的红利，可以很大范围的降低自己的成本的，同时提高自己的生产效率。抢占型实例更简单，它基本上会节省大家90%的一个成本。它的原理在于，比如我有一堆的计算资源池，那今天可能它本身卖十块钱一个小时，今天他可能在这个资源比较充足的情况下，您出一块钱一个小时，你就可以去把它买到。比如说等到明天资源不是很充足的时候，那我出两块，两块钱去买到。然后我把您的这一块钱的东西给释放掉了。就相当于把它抢走。所以按照刚才讲的这个逻辑，大家其实也能听明白。

今天谴商行实力最大的一个特点就是便宜，成本非常的低，基本可以为您节省90%的一个计算成本，非常的夸张。但是它的坏处也是一样的，就是它的不稳定性，它随时都有可能被释放掉。所以它比较适合的业务就是，您对成本非常敏感，但是您对稳定性并不是特别高的要求的情况下，可以用强占型实例。除此之外，在容器调度层也提供了一系列的解决方案。我们通过弹性的过程中，根据您的QPS水位，根据您的GPU的水位，根据您队列的长度，根据您CPU的利用率，自动的去弹性去缩容和扩容您自己的集群的资源。让您真正的做到这个集群资源的最大化利用，包括每天可以定时的扩缩容。比如您这个业务非常明确的时间的要求，比如每天早上八点开起来50个实例，每天晚上六点可以把50个实例释放掉。可以通过定时扩松容的方法，也可以很大程度的去提高您的成本。包括弹性资源池，您可以把公共资源组跟专属资源组的资源混用，进一步的提高整个资源的利用效率。通过这一系列的方法，其实本质上是最大程度的提高您的资源利用效率从而降低的成本，做到一个降本增效。再往上一层，就是今天的模型部署层，今天在模型部署的过程中也会碰到很多的问题。今天你把一个模型部署上，那您想知道，这个模型到底它能承担多大的QPS，多大的RT，我们提供一键压测的工具，让你很快速的就拿到一个结果。

第二个挥度的发布，我今天新上线了一个模型，想看看这个模型的效果怎么样，但是我不可能先把这流量切过来，可能先切10%，然后等等的方法。我们提供一系列的方法，让你把整个发布流程变得更加的丝滑。包括我们有实时的监控，我们有根据您业务指标的报警，然后来从而保证您业务部的一个稳定性。包括流量镜像，其实也是一个挥度发布的实现状态。总之我们通过一整套的组合拳，真正的让您去做到一点，就是在云上非常稳定、成本低、并且高效的使用整套AIGC的推理方案。

 

八、模型部署的方法和好处

用EaS其实非常的简单，后面可能会给大家做一些演示，今天您上我们的控制台，然后找到我们的EAS就是开通相应的权限。点击部署服务，然后跳到部署页面，然后填表单式的填写一些内容里面，不需要引入任何一行代码，很多东西都是预填进去的，就可以把服务部署上，我们已经把SDwebUI集成了一个镜像，你可以一键式的去部署。部署好之后，运行中之后，你可以通过点击查看web UI登录到这个stability version web UI的界面。可以输入比如说一个cat，然后点生成就可以生成一张图，整个过程不会超过五分钟，非常快速的就让你体会到整个云上经济平台带给您的红利。

与此同时，您也可以通过EAS让自己的OSS和nas的模型存储进行挂载。今天有非常大的需求就是有很客户这个模型，无论是客户自己下载的模型，还是客户自己训练的模型。那这些模型怎么跟EAS去联动呢？今天可以把这些laura模型或者SD模型通过OSS或者nas的方式存下来，并且在部署EAS的过程中，或者是更新服务的过程中，把您的存储挂载到EAS服务里面。从而就可以看到里面的您的模型直接的挂过来去使用。包括您在使用过程中出的所有的图片都会被缓存到OSS和nas里面去做数据持久化的存储，方便您后续的查看和使用。

 

九、OSS 和 NAS 的区别

OSS和NAS的存在区别，OSS它的好处是非常快速的就可以把自己个OSS或nas挂载到EAS的服务里面。刚才讲的OSS，它的好处就是像右边这样可以很方便的去管理自己的文件系统，可以上传，可以下载，非常方便的一套文件管理的系统。nas的挂载它的最大好处就是它的速度会特别快。今天如果您对速度有极致的要求，比如切换模型出图的速度更快，那么用nas挂载会给您带来更加流畅的AI绘画的体验。

 

十、PAI dsw 的 SDWebUI 方案

除了这个部署以外，如果您自己需要写一些代码去做一些自定义的建模，例如我是一个算法工程师，那我怎么去处理这样的场景，今天我们在这个PAI DSW这样一款产品中，也可以快速的拉起这样一套SDWebUI的模板。然后通过里面的代码形式快速的拉起SDWebUI。最后如果您是完全一个小白的客户，那我们也提供一个产品叫做PAI快速产品quick s2。你就不需要写任何一行代码，不需要看任何东西。然后通过点点点就可以把一整套的SDWebUI部署起来。

 

十一、PAIWebUI 方案优势

刚才讲的几种方案，其实首要的会以EAS这一套方案为主。在这一套方案里面，和其他的方案的一个有优缺点，今天您可能部署SDWebUI是一件非常简单的事情，因为开源社区已经非常成熟了。今天您可以选择用社区的SDWebUI部署到自己的机器上面，也可以通过买一些S层。比如说像ECS这样的资源，自建SDWebUI这套体系。当然也可以选择PAI这套方案。PAI给你带来的最大的几个优势分别是，第一点我们叫做支持我们单服务多卡的集群。因为在无论社区的还是自建的，它都只能做到因为它原生SDWebUI就是前后端不分离的，所以一张卡只能一个人用，这会造成大的资源的浪费。而且每个人都是不同的URL登录的入口，这个会给运维带来非常大的困难。今天PAI SDWebUI完美的解决这件事情，它可以多人共享一张卡，对多人多个前端，多个人共享一个后端一张卡的进程。并且所有人，比如说您今天有100个美术师，他们的入口也是完全统一的。

 

您可以做自己的一套用户的健全，通过用户的健全，客户完全不会感知PAI这个平台。您的美术师就可以非常方便的去使用到自己的模型，并且所有的用户身份都是完全区分开的。他看到的模型，他出的图都是完全隔离掉的。包括在这边我们可以做到极致的弹性扩缩容，保证您资源的一个利用效率，让您真正的做到降本增效。以及可以按照小组工作室去拆分这个使用成本。这是企业级里面非常重要的一些功能。并且与此同时，我们也提供PAI play这是一款加速推理的产品。通过PAI play的加速，可以在原生的这个SDWebUI的基础上加速2到3倍，也就是原来你可能30秒需要出的图，现在10秒钟就可以出图。这给您的效率会产生进一步的提高您的生产效率，并且降低您的成本。

 

十二、PAI WebUI 的使用场景和举例报价

今天我们这套PAI SDWebUI的这个方案，客户可能会有一个较大的美术团体，你可能有一个十人以上，比如30到50人，甚至300到500人一个大的一个美术团体。因为您的团体越大，相当于单机维护的成本就会越高。这样我们带来的价值就会更大。并且这个的时候会给您，让您的资源因为多人共享一张卡会被这会极致的压榨这个GPU的使用率会让您的成本更加的低。您会有统一的技术中台，统一的it部门，统一的运维部门去给美术团队做统一的运维。然后用我们的PAI一站式的就会解决这些问题，并且对成本相对敏感。今天我们可以做到要比您自己线下建立这样的一个机房，成本便宜非常多。那便宜多少我们下一张图看一下。

举一个例子，比如100个人的美术团队，如果您自己去买4090，如果是按三年的质保算，你每年摊下来的成本是66万。那如果用SDWebUI，您100个人问题，因为三个人可以共用一张卡去做这个SDWebUI的推理。那每台的价格是7.63块每小时，算你每天的工作时长是八个小时，然后每年是250工作日。价格是按七折计算，算下来的，成本是36.3万，也就是它的一半。所以说通过PAI这样一款产品，您可以做到成本的极致的优化。并且在这里面也做了全托管。这里面涉及到比如说队列的内容，比如SLB这个网关的内容，我们都是完全的覆盖掉的，这这部分是完全不收您任何的费用。让您整个的运维管理更加的方便的同时，并且把成本降下来。

刚才讲到的第一个场景叫做美术师的场景。美术师他们需要用SDWebUI去做一个绘画，去做他们自己的创意设计。第二个场景，我们叫做stable diversion的模型服务AP服务。API服务举一个例，刚才讲的是界面化的这个例子，下一个例子，它会具体使用在游戏里面。比如玩家，他不可能是通过一个web UI去绘画。那他肯定是通过调一次API，通过API的方法去提供这样的服务。在这种情况下，PAI是完美承接的这样的一个方案。

今天最主要的两个方案，一个是开源的defuse API的方案。defuse API，它既可以用训练，也可以用推理。然后也是完美的集成了开源社区diffuser 的这样一套API的方案。另外一套是SDWebUI自就是天然自带的一套fast API的这样一套接口。我们也非常的符合这样的一套接口规范，并且把它变成一个产品化的能力。

今天更多的是SDWebUI，因为它所见即所得，它跟你看到的这个web UI上面出出图的内容是一模一样的，所以它被会更加广泛的去被大家认可。并且在这个里面也做了多卡集群的调度，整个定制化插件优化，让你整个的体验得到一个很大的提升。