Stable Diffusion AI绘画

简介: Stable Diffusion是人工智能领域的文本到图像生成模型,基于概率的连续扩散过程,学习数据潜在分布并生成新样本。模型使用Web UI进行交互,提供不同采样器如Euler和DPM++,后者常配以Karras算法。提示词对生成效果至关重要,可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外,模型文件(ckpt/safetensors)和Lora微调模型需存放在正确目录以确保功能正常。

我们今天来了解一下最近很火的SD模型


✨在人工智能领域,生成模型一直是研究的热点之一。随着深度学习技术的飞速发展,一种名为Stable Diffusion的新型生成模型引起了广泛关注。Stable Diffusion是一种基于概率的生成模型,它可以学习数据的潜在分布,并生成与训练数据相似的新样本。


Stable Diffusion是基于连续扩散过程的一种生成模型。它的核心思想是将数据生成过程看作是一个随机过程,通过学习这个随机过程的条件概率分布,我们可以生成新的数据样本。具体来说,Stable Diffusion将数据生成过程分解为一系列离散的时间步,每个时间步都对应一个条件概率分布。通过学习这些条件概率分布,我们可以从一个简单的初始分布出发,逐步生成复杂的数据样本。


Web Ui


这里我们使用SD的整合包,优点是十分简单迅速,不需要直接手动配置环境。


成功进入Web UI界面



采样器选择


对于老派采样器,我们一般使用Euler 和 Euler a,A的意思是代表为祖先采样器,画面不能收敛(每一步都会向画面添加随机的噪声),所以每一步生成的画面都会有一些随机性,随着采样次数增加,画面也会每次都变化,优点就是可以给画面带来一点随机性,增加一些细节。而Euler是可以收敛的采样器,随着采样次数增加,最终会趋向于一个固定的画面。



关于DPM算法:这是我们在stable diffusion用的最多的方法,我们按照时间速度来筛选的话,我们直接选择DPM++ 且后面跟着Karras的算法就可以了。比如:DPM++2M Karras 。


我们还可以选择Stable Diffusion新版本增加的Unipc和Restart采样器。


高清修复


此功能只存在于文生图页面中(Hires. fix),我们直接在上张图片中的小三角直接点开就可以了,其中的放大倍数设置在2就可以了。


提示词


提示词是模型中最为重要的东西,即使有再好的模型和Lora,我们也无法生成好的图片。如果我们感觉提示词很难写,我们也可以使用GPT来生成提示词(AI生成AI):


现在你是一名基于输入描述的提示词生成圈,你会将我输入的自然语言想象为完整的画面生成提示词。请注意,你生成后的内容服务于一个绘画AI,它只能理解具象的提示词而非抽象的概念,我将提供简短的中文描述,生成器需要为我提供准确的提示词,必要时优化和重组以提供更准确的内容,也只输出翻译后的英文内容。

请模仿示例的结构生成完美的提示词。

示例输入:“一个坐在路边的办公室女职员”


示例输出出: 1 girl, office lady, solo, 16yo, beautiful detailed eyes, light blush, black hair, longhair, mole under eye, nose blush, looking at viewer, suits, white shirt, striped miniskirt, lace  black pantyhouse, black heels, LV bags, thighhighs, sitting, street, shop border, akihabara,  tokyo, tree, rain, cloudy, beautifully detailed background, depth of field, loli, realistic,  ambient light, cinematic composition, neon lights, HDR, Accent Lighting, pantyshot, fish eye  lens.

请仔细阅读我的要求,并严格按照规则生成提示词,如果你明白了,请回复“我准备好了”,当我输入中文内容后,请生成我需要的英文内容。注意,英文连着写,不要标序号。英文写完了,用中文翻译一遍。



紧接着我们输入中文想要的句子,它还会帮我们拓展出一点内容:



输出:




其中总批次数是指我们生成几次图片,单批次量是指每次生成时,一个图片包含几张图片,例如我们发朋友圈经常说的九宫格样式。


我们点击一个Lora后,在提示词后面生成了一小段原生Lora代码:




大模型与Lora


我们可以去网站下载别人训练好的模型(尾缀 ckpt / safetensors),常见大小:2G -7G


存放路径一定要为:根目录\models\Stable-diffusion


而Lora则是微调模型,常见大小:100M左右


存放目录:根目录\models\Lora


如果我们误将Lora模型放到大模型目录下或相反,则我们在界面将无法正常切换模型。


同时我们还可以使用官方给出的提示词来copy:



我们今天先分享到这,下期我们再学习高级操作~

相关文章
|
2月前
|
人工智能 Serverless
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
|
2月前
|
人工智能 Serverless
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求,即可获得详细的实施方案。随后,按照AI助手提供的方案,通过函数计算部署应用,并进行测试。此过程显著提升了开发效率。
814 2
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
|
2月前
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
|
3月前
|
人工智能
在stable diffussion中完美修复AI图片
无论您的提示和模型有多好,一次性获得完美图像的情况很少见。修复小缺陷的不可或缺的方法是图像修复(inpainting)
在stable diffussion中完美修复AI图片
|
3月前
|
人工智能 测试技术
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法,通过融合Transformer和Diffusion模型,实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力,能够在单一架构中处理混合模态数据,有效学习文本与图像间的复杂关系,提升跨模态理解和生成效果。经过大规模预训练,Transfusion模型在多种基准测试中表现出色,尤其在图像压缩和模态特定编码方面具有优势。然而,其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
78 7
|
5月前
|
人工智能
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
|
5月前
|
人工智能
AI绘画---Stable Diffusion checkpoint 插件无法安装,中文包无法下载怎么办?这里该如何解决,扩展无法出现
AI绘画---Stable Diffusion checkpoint 插件无法安装,中文包无法下载怎么办?这里该如何解决,扩展无法出现
|
7月前
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
870 0
|
7月前
|
人工智能 开发工具 git
【AI绘画】Stable Diffusion 客户端搭建
【AI绘画】Stable Diffusion 客户端搭建
191 0
【AI绘画】Stable Diffusion 客户端搭建
|
人工智能 物联网
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
1464 0