阿里云Stable Diffusion操作教程

简介: 阿里云Stable Diffusion操作教程


前言

Stable Diffusion是⼀种深度学习模型,主要⽤于将⽂本描述转化为详细的图像,也可以应⽤于其他图像处理任务 。 这个模型由创业公司Stability AI 与学术研究者合作开发,使⽤了⼀种称为潜在扩散模型(LDM)的扩散模型。最近正好有个活动,参与体验了下阿里云的Stable Diffusion,再此记录一下遇到的问题。

区域功能

从大的方向,我们可以分为如上三个功能块,分别为:模型区、参数调整区以及生成结果区域,下面我们来分别看一下以上三个区域功能如何使用,尤其是参数调整区,核心中的核心,参数调好了,结果就是想要的,参数调整不好了,结果奇丑无比。

何为prompt?

  • 在⼈⼯智能领域,Prompt 是⼀个⾮常重要的概念。它是⼀段⽂本或语句,⽤于指导机器学习模型⽣成特定类型、主题或格式的输出。
  • ⼴义的讲,Prompt是指⽤户输⼊的⽂本或图像信息,⽬的是知道模型根据⼀些特定的需求⽣成艺术作品。
  • ⽂⽣图主要以⽂字来实现这个沟通过程,图⽣图还可以依赖图⽚来传达信息,但图⽣图中也需要⽤到⽂字信息,⽽且同样重要。
  • Prompt 的主题⾮常⼴泛,可能包括作品主题、画⻛、形象特点以及⼀些具体包含的要素
  • 不同的 Prompt 分别向AI描绘了画⾯⻛格、⼈物体貌、服饰特点、场景内容和⼀些额外的修饰性元素

对于自然语言上特化训练的模型,建议使用描述物体的橘子座位提示词,补课太过于复杂,不然机器不一定能理解,可能会导致在解析上出现偏差

注意

一般来说,靠前的词汇权重会高。所以,最想实现的效果,在最前面写上,紧接着后面跟上修饰词,多个提示提之间用英文的逗号隔开(逗号前权重高)

文生图

内容提示词

文生图的精髓在于提示词,提示词写的好,效果就越好,提示词写的不好,效果图就不好。

比如内容型的提示词,我们可以这样写:

1. 人物主体特征:

服饰穿搭 white dress

发型发⾊ blonde hair, long hair

五官特点 small eyes, big mouth

⾯部表情 smile

肢体动作 stretching arms

2. 场景特征:

室内、室外 indoor / outcloor

⼤场景 forest, city, street

⼩细节 tree, bush, white flower

3. 环境光照:

⽩天⿊夜 day / night

特定时段 morning, sunset

光环境 sunlight, bright, dark

天空 blue sky, starry sky

4. 画幅视角:

距离 close-up, distant

⼈物⽐例 full body, upper body

观察视⻆ from above, view of back

镜头类型 wide angle, Sony A7

5. 通用高画质

best quality, ultra-detailed, masterpiece, hires, 8k

6.特定搞分辨率类型

extremely detailed CG unity 8k wallpaper(超精细的8K Unity游戏CG)

unreal engine rendered (虚幻引擎渲染)

7.花粉提示词

插画风: ilustration, painting, paintbrush

二次元:anime, comic, gamre CG

写实系:photorealistic, realistic, photograph

温馨提示:”

必要的时候,可以借助chatgpt来实现提示词的罗列,比如:我们么想要绘制一幅女孩在咖啡馆里看书的画面,但不知道如何描述这个场景,那么我们借助chatgpt来提供灵感,如下:


可以看出来,生成的内容,还是很不错的。

反向提示词

上面我们介绍了下正向提示词,但是我们可以看到界面上还有个反向提示词的概念,那么,什么是反向提示词?

正向提示词内输⼊的东⻄是想要⽣成的作品,

反向提示词内输⼊的是不希望画⾯⽣成的内容。

鉴于我们所使⽤的多种模型包含⼤量训练图⽚,其中可能存在⼤量低质量图像信息,因此我们需要通过输⼊反向提示词来排除这些内容。

我们可以将常见的一些反向提示词整理出来输入上去:

lowers, error, cropped, worst quality, low quality, jpeg artifacts, out of frame, watermark, signature
  1. 以任务肖像的反向提示词为例:畸形的,丑陋的,残缺的,毁坏的,不好的⽐例
deformed, ugly, mutilated, disfigured, text, extra limbs, face cut, head cut, extra 
fingers, extra arms, poorly drawn face, mutation, bad proportions, cropped head, malformed limbs, mutated hands, fused fingers, long neck
  1. 照片类图片的反向提示词:插图 绘画 素描 艺术 草图
illustration, painting, drawing, art, 
sketch

采样器

就是这个地方的选项,可以看到,有非常之多…一时都无从下手。其实我们常用的就三种,分别为:

  • Euler a :插画⻛格,ICON,⼆次元图像,⼩场景
  • DPM++2S a Karras:写实⼈像,复杂场景刻画
  • DDIM:写实⼈像,复杂场景刻画

DPM系列更接近真实世界的效果,Euler 系列会让真实感减弱同事更加富有艺术感

各个采样器之间的对比如下图所示:


迭代步数 (Steps)

⼀般来说采样迭代步数保持在 18-30 左右即可。低的采样步数会导致画⾯计算不完整,⾼的采样步数仅在细节处进⾏优化,对⽐输出速度得不偿失。默认值为25,可以适应于大部分的生产场景。

那么,我们应该如何选择迭代步数呢?下面是一些参考建议:

  1. 如果正在测试新的提示,并希望快速得到结果以便调整你的输入,使用10-15
  2. 当找到喜欢的提示词后,将迭代步数调整到25
  3. 如果正在创建一个人脸、有毛皮的动物活任何具有详细文理的主题,而你觉得生成的图像缺少一些这些细节,可以试着将其调整到40

面部修复

为恢复脸部缺陷⽽训练的附加模型。

平铺图

将⽣成的图⽚拼接在⼀起

高分辨率修复 (Hires. fix)

通俗来说,就是以重新绘制的⽅式对图像进⾏放⼤,并且在放⼤的同时补充⼀些细节。

宽高设置

默认为512512,我们这边可以设置800800的,效果要相对好点儿。

单批次数和单批数量

单批次数:代表生成的批次

单批数量:代表每批生成的图像数量

如果我们将单批次数设置为2,单批数量设置为4,则出来的图片数量就为2*4=8张。(建议生成的批次高点,单批数量少点儿,这样速度快)

提示词引导系数 (CFG Scale)

该值越低时,产⽣越有创意的结果;反之如果该参数越⾼会使得SD尽量去⽣成与Prompt ⼀致的结果。

一般选择7就行。

CFG ⽐例可以分为不同的范围:

  • CFG 2 - 6:富有创意,但可能过于扭曲且不符合prompt。对于短prompt可能会很有趣且有⽤
  • CFG 7 - 10:推荐⽤于⼤多数提示。创造性和引导⽣成之间的良好平衡
  • CFG 10 - 15:prompt很详细且清晰的描述了希望图像看起来像什么时
  • CFG 16 - 20:通常不推荐,除⾮prompt⾮常详细。可能会影响连贯性和质量
  • CFG > 20:⼏乎从不适⽤

随机数种子 (Seed)

  • 当输⼊-1 或点击旁边的骰⼦按钮时,⽣成的图像是完全随机的,没有任何规律可⾔
  • 当输⼊其他随机数值时,就相当于锁定了随机种⼦对画⾯的影响,这样每次⽣成的图像只会有微
    ⼩的变化
  • 因此,使⽤随机种⼦可以控制⽣成图像的变化程度,从⽽更好地探索模型的性能和参数的影响
目录
相关文章
|
5天前
|
域名解析 弹性计算 Linux
阿里云购买云服务器、注册域名、备案及绑定图文教程参考
本文为大家介绍了2024年购买阿里云服务器和注册域名,绑定以及备案的教程,适合需要在阿里云购买云服务器、注册域名并备案的用户参考,新手用户可通过此文您了解在从购买云服务器到完成备案的流程。
阿里云购买云服务器、注册域名、备案及绑定图文教程参考
|
5天前
|
Java Serverless 应用服务中间件
Serverless 应用引擎操作报错合集之阿里云函数计算中出现“找不到类”的错误如何解决
Serverless 应用引擎(SAE)是阿里云提供的Serverless PaaS平台,支持Spring Cloud、Dubbo、HSF等主流微服务框架,简化应用的部署、运维和弹性伸缩。在使用SAE过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
37 1
Serverless 应用引擎操作报错合集之阿里云函数计算中出现“找不到类”的错误如何解决
|
5天前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
27 3
|
5天前
|
Java 关系型数据库 MySQL
保姆级教程——将springboot项目部署到阿里云服务器包含环境配置(小白包会)
本文档详细介绍了将SpringBoot项目部署到阿里云服务器的步骤。首先,通过Xshell连接服务器,使用公网IP地址。接着,下载JDK的Linux版本,使用XFTP上传并解压,配置环境变量。然后,安装MySQL 5.7,包括下载YUM源、安装、启动服务以及修改root密码和开启远程访问。最后,将SpringBoot项目打包成jar,上传至服务器,使用`java -jar`命令运行,通过`nohup`确保服务持续运行。配置安全组以允许远程访问。
|
5天前
阿里云域名注册流程和备案流程(详细图文教程)
阿里云域名注册指南:访问[阿里云域名注册入口,查询并注册心仪域名,如.com/.cn,加入清单后结算。价格因后缀而异,如.com首年78元。创建信息模板进行实名认证,首次需上传资料。获取域名优惠口令并使用,详细步骤见文档。备案流程参照阿里云ICP备案系统。
129 2
|
5天前
|
弹性计算 运维 数据安全/隐私保护
【雾锁王国开服】阿里云一键部署雾锁王国联机服务器详细教程
阿里云提供雾锁王国服务器搭建教程,借助计算巢服务,用户可在3分钟内创建Enshrouded游戏服务器。8核32G服务器1个月109元,3个月327元;4核16G10M带宽1个月30元,3个月90元。需先注册并实名认证阿里云账号,然后通过傻瓜式一键部署入口进行购买和设置,包括地域、购买时长、服务器参数等。部署完成后,分享服务器信息给游戏伙伴,即可开始游戏。详细教程和更多配置信息可在阿里云ECS产品页查看。
39 0
|
5天前
|
存储 弹性计算 固态存储
阿里云服务器配置怎么选择合适?收藏级教程大家参考下
阿里云服务器配置选择涉及CPU、内存、带宽和磁盘。个人开发者或中小企业推荐使用轻量应用服务器或ECS经济型实例,如2核2G3M配置,适合低流量网站。企业用户应选择企业级独享型ECS,如通用算力型u1、计算型c7或通用型g7,至少2核4G配置,公网带宽建议5M,系统盘可选SSD或ESSD云盘。具体配置需根据实际应用需求来定。
|
5天前
|
数据采集 SQL DataWorks
DataWorks操作报错合集之在阿里云DataWorks的数据同步任务中,过滤条件不生效,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
25 2
|
5天前
|
SQL DataWorks Java
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
27 1
DataWorks操作报错合集之在阿里云 DataWorks 中,代码在开发测试阶段能够成功运行,但在提交后失败并报错“不支持https”如何解决
|
5天前
|
运维 Serverless PHP
Serverless 应用引擎产品使用之在阿里云Serverless中耗时操作执行如何解决
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
23 0

热门文章

最新文章