Stable Diffusion AI绘画

简介: Stable Diffusion是人工智能领域的文本到图像生成模型,基于概率的连续扩散过程,学习数据潜在分布并生成新样本。模型使用Web UI进行交互,提供不同采样器如Euler和DPM++,后者常配以Karras算法。提示词对生成效果至关重要,可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外,模型文件(ckpt/safetensors)和Lora微调模型需存放在正确目录以确保功能正常。

我们今天来了解一下最近很火的SD模型


✨在人工智能领域,生成模型一直是研究的热点之一。随着深度学习技术的飞速发展,一种名为Stable Diffusion的新型生成模型引起了广泛关注。Stable Diffusion是一种基于概率的生成模型,它可以学习数据的潜在分布,并生成与训练数据相似的新样本。


Stable Diffusion是基于连续扩散过程的一种生成模型。它的核心思想是将数据生成过程看作是一个随机过程,通过学习这个随机过程的条件概率分布,我们可以生成新的数据样本。具体来说,Stable Diffusion将数据生成过程分解为一系列离散的时间步,每个时间步都对应一个条件概率分布。通过学习这些条件概率分布,我们可以从一个简单的初始分布出发,逐步生成复杂的数据样本。


Web Ui


这里我们使用SD的整合包,优点是十分简单迅速,不需要直接手动配置环境。


成功进入Web UI界面



采样器选择


对于老派采样器,我们一般使用Euler 和 Euler a,A的意思是代表为祖先采样器,画面不能收敛(每一步都会向画面添加随机的噪声),所以每一步生成的画面都会有一些随机性,随着采样次数增加,画面也会每次都变化,优点就是可以给画面带来一点随机性,增加一些细节。而Euler是可以收敛的采样器,随着采样次数增加,最终会趋向于一个固定的画面。



关于DPM算法:这是我们在stable diffusion用的最多的方法,我们按照时间速度来筛选的话,我们直接选择DPM++ 且后面跟着Karras的算法就可以了。比如:DPM++2M Karras 。


我们还可以选择Stable Diffusion新版本增加的Unipc和Restart采样器。


高清修复


此功能只存在于文生图页面中(Hires. fix),我们直接在上张图片中的小三角直接点开就可以了,其中的放大倍数设置在2就可以了。


提示词


提示词是模型中最为重要的东西,即使有再好的模型和Lora,我们也无法生成好的图片。如果我们感觉提示词很难写,我们也可以使用GPT来生成提示词(AI生成AI):


现在你是一名基于输入描述的提示词生成圈,你会将我输入的自然语言想象为完整的画面生成提示词。请注意,你生成后的内容服务于一个绘画AI,它只能理解具象的提示词而非抽象的概念,我将提供简短的中文描述,生成器需要为我提供准确的提示词,必要时优化和重组以提供更准确的内容,也只输出翻译后的英文内容。

请模仿示例的结构生成完美的提示词。

示例输入:“一个坐在路边的办公室女职员”


示例输出出: 1 girl, office lady, solo, 16yo, beautiful detailed eyes, light blush, black hair, longhair, mole under eye, nose blush, looking at viewer, suits, white shirt, striped miniskirt, lace  black pantyhouse, black heels, LV bags, thighhighs, sitting, street, shop border, akihabara,  tokyo, tree, rain, cloudy, beautifully detailed background, depth of field, loli, realistic,  ambient light, cinematic composition, neon lights, HDR, Accent Lighting, pantyshot, fish eye  lens.

请仔细阅读我的要求,并严格按照规则生成提示词,如果你明白了,请回复“我准备好了”,当我输入中文内容后,请生成我需要的英文内容。注意,英文连着写,不要标序号。英文写完了,用中文翻译一遍。



紧接着我们输入中文想要的句子,它还会帮我们拓展出一点内容:



输出:




其中总批次数是指我们生成几次图片,单批次量是指每次生成时,一个图片包含几张图片,例如我们发朋友圈经常说的九宫格样式。


我们点击一个Lora后,在提示词后面生成了一小段原生Lora代码:




大模型与Lora


我们可以去网站下载别人训练好的模型(尾缀 ckpt / safetensors),常见大小:2G -7G


存放路径一定要为:根目录\models\Stable-diffusion


而Lora则是微调模型,常见大小:100M左右


存放目录:根目录\models\Lora


如果我们误将Lora模型放到大模型目录下或相反,则我们在界面将无法正常切换模型。


同时我们还可以使用官方给出的提示词来copy:



我们今天先分享到这,下期我们再学习高级操作~

相关文章
|
2月前
|
人工智能 Serverless
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
|
2月前
|
人工智能 Serverless
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求,即可获得详细的实施方案。随后,按照AI助手提供的方案,通过函数计算部署应用,并进行测试。此过程显著提升了开发效率。
829 2
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
|
2月前
|
人工智能
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
|
3月前
|
人工智能
在stable diffussion中完美修复AI图片
无论您的提示和模型有多好,一次性获得完美图像的情况很少见。修复小缺陷的不可或缺的方法是图像修复(inpainting)
在stable diffussion中完美修复AI图片
|
3月前
|
人工智能 测试技术
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法,通过融合Transformer和Diffusion模型,实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力,能够在单一架构中处理混合模态数据,有效学习文本与图像间的复杂关系,提升跨模态理解和生成效果。经过大规模预训练,Transfusion模型在多种基准测试中表现出色,尤其在图像压缩和模态特定编码方面具有优势。然而,其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
82 7
|
5月前
|
人工智能
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
AI绘画,Stable Diffusion如何使用中文简体包,黑色页面切换参数http://127.0.0.1:7860/?__theme=dark 两个__,中文包下载和安装
|
5月前
|
人工智能
AI绘画---Stable Diffusion checkpoint 插件无法安装,中文包无法下载怎么办?这里该如何解决,扩展无法出现
AI绘画---Stable Diffusion checkpoint 插件无法安装,中文包无法下载怎么办?这里该如何解决,扩展无法出现
|
14天前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术深度解析:从基础到应用的全面介绍
人工智能(AI)技术的迅猛发展,正在深刻改变着我们的生活和工作方式。从自然语言处理(NLP)到机器学习,从神经网络到大型语言模型(LLM),AI技术的每一次进步都带来了前所未有的机遇和挑战。本文将从背景、历史、业务场景、Python代码示例、流程图以及如何上手等多个方面,对AI技术中的关键组件进行深度解析,为读者呈现一个全面而深入的AI技术世界。
80 10
|
2天前
|
机器学习/深度学习 人工智能 自动驾驶
企业内训|AI大模型在汽车行业的前沿应用研修-某汽车集团
本课程是TsingtaoAI为某汽车集团高级项目经理设计研发,课程全面系统地解析AI的发展历程、技术基础及其在汽车行业的深度应用。通过深入浅出的理论讲解、丰富的行业案例分析以及实战项目训练,学员将全面掌握机器学习、深度学习、NLP与CV等核心技术,了解自动驾驶、智能制造、车联网与智能营销等关键应用场景,洞悉AI技术对企业战略布局的深远影响。
126 96
|
7天前
|
机器学习/深度学习 人工智能 物联网
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营
12月14日,由中国软件行业校园招聘与实习公共服务平台携手魔搭社区共同举办的AI赋能大学计划·大模型技术与产业趋势高校行AIGC项目实战营·湖南大学站圆满结营。
AI赋能大学计划·大模型技术与应用实战学生训练营——湖南大学站圆满结营