Stable Diffusion AI绘画

简介: Stable Diffusion是人工智能领域的文本到图像生成模型,基于概率的连续扩散过程,学习数据潜在分布并生成新样本。模型使用Web UI进行交互,提供不同采样器如Euler和DPM++,后者常配以Karras算法。提示词对生成效果至关重要,可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外,模型文件(ckpt/safetensors)和Lora微调模型需存放在正确目录以确保功能正常。

我们今天来了解一下最近很火的SD模型


✨在人工智能领域,生成模型一直是研究的热点之一。随着深度学习技术的飞速发展,一种名为Stable Diffusion的新型生成模型引起了广泛关注。Stable Diffusion是一种基于概率的生成模型,它可以学习数据的潜在分布,并生成与训练数据相似的新样本。


Stable Diffusion是基于连续扩散过程的一种生成模型。它的核心思想是将数据生成过程看作是一个随机过程,通过学习这个随机过程的条件概率分布,我们可以生成新的数据样本。具体来说,Stable Diffusion将数据生成过程分解为一系列离散的时间步,每个时间步都对应一个条件概率分布。通过学习这些条件概率分布,我们可以从一个简单的初始分布出发,逐步生成复杂的数据样本。


Web Ui


这里我们使用SD的整合包,优点是十分简单迅速,不需要直接手动配置环境。


成功进入Web UI界面



采样器选择


对于老派采样器,我们一般使用Euler 和 Euler a,A的意思是代表为祖先采样器,画面不能收敛(每一步都会向画面添加随机的噪声),所以每一步生成的画面都会有一些随机性,随着采样次数增加,画面也会每次都变化,优点就是可以给画面带来一点随机性,增加一些细节。而Euler是可以收敛的采样器,随着采样次数增加,最终会趋向于一个固定的画面。



关于DPM算法:这是我们在stable diffusion用的最多的方法,我们按照时间速度来筛选的话,我们直接选择DPM++ 且后面跟着Karras的算法就可以了。比如:DPM++2M Karras 。


我们还可以选择Stable Diffusion新版本增加的Unipc和Restart采样器。


高清修复


此功能只存在于文生图页面中(Hires. fix),我们直接在上张图片中的小三角直接点开就可以了,其中的放大倍数设置在2就可以了。


提示词


提示词是模型中最为重要的东西,即使有再好的模型和Lora,我们也无法生成好的图片。如果我们感觉提示词很难写,我们也可以使用GPT来生成提示词(AI生成AI):


现在你是一名基于输入描述的提示词生成圈,你会将我输入的自然语言想象为完整的画面生成提示词。请注意,你生成后的内容服务于一个绘画AI,它只能理解具象的提示词而非抽象的概念,我将提供简短的中文描述,生成器需要为我提供准确的提示词,必要时优化和重组以提供更准确的内容,也只输出翻译后的英文内容。

请模仿示例的结构生成完美的提示词。

示例输入:“一个坐在路边的办公室女职员”


示例输出出: 1 girl, office lady, solo, 16yo, beautiful detailed eyes, light blush, black hair, longhair, mole under eye, nose blush, looking at viewer, suits, white shirt, striped miniskirt, lace  black pantyhouse, black heels, LV bags, thighhighs, sitting, street, shop border, akihabara,  tokyo, tree, rain, cloudy, beautifully detailed background, depth of field, loli, realistic,  ambient light, cinematic composition, neon lights, HDR, Accent Lighting, pantyshot, fish eye  lens.

请仔细阅读我的要求,并严格按照规则生成提示词,如果你明白了,请回复“我准备好了”,当我输入中文内容后,请生成我需要的英文内容。注意,英文连着写,不要标序号。英文写完了,用中文翻译一遍。



紧接着我们输入中文想要的句子,它还会帮我们拓展出一点内容:



输出:




其中总批次数是指我们生成几次图片,单批次量是指每次生成时,一个图片包含几张图片,例如我们发朋友圈经常说的九宫格样式。


我们点击一个Lora后,在提示词后面生成了一小段原生Lora代码:




大模型与Lora


我们可以去网站下载别人训练好的模型(尾缀 ckpt / safetensors),常见大小:2G -7G


存放路径一定要为:根目录\models\Stable-diffusion


而Lora则是微调模型,常见大小:100M左右


存放目录:根目录\models\Lora


如果我们误将Lora模型放到大模型目录下或相反,则我们在界面将无法正常切换模型。


同时我们还可以使用官方给出的提示词来copy:



我们今天先分享到这,下期我们再学习高级操作~

目录
打赏
0
3
3
0
50
分享
相关文章
Stable Virtual Camera:2D秒变3D电影!Stability AI黑科技解锁无限运镜,自定义轨迹一键生成
Stable Virtual Camera 是 Stability AI 推出的 AI 模型,能够将 2D 图像转换为具有真实深度和透视感的 3D 视频,支持自定义相机轨迹和多种动态路径,生成高质量且时间平滑的视频。
44 0
Omnitool:开发者桌面革命!开源神器一键整合ChatGPT+Stable Diffusion等主流AI平台,本地运行不联网
Omnitool 是一款开源的 AI 桌面环境,支持本地运行,提供统一交互界面,快速接入 OpenAI、Stable Diffusion、Hugging Face 等主流 AI 平台,具备高度扩展性。
402 94
Omnitool:开发者桌面革命!开源神器一键整合ChatGPT+Stable Diffusion等主流AI平台,本地运行不联网
AI助理精准匹配------助力快速搭建Stable Difussion图像生成应用
【10月更文挑战第7天】过去在阿里云社区搭建Stable Diffusion图像生成应用需查阅在线实验室或官方文档,耗时且不便。现阿里云AI助理提供精准匹配服务,直接在首页询问AI助理即可获取详细部署步骤,简化了操作流程,提高了效率。用户可按AI助理提供的步骤快速完成应用创建、参数设置、应用部署及资源释放等操作,轻松体验Stable Diffusion图像生成功能。
🎨 设计师必备!AI Stable Diffusion 提示词神器,让你秒变创意大师!
AI绘图新时代来临,设计师必备工具——**白盒子AI绘图提示词生成器**助你轻松跨越提示词难题。该工具操作简便,支持中英文切换,涵盖近1000个精选提示词,适用于各种风格创作。无论是新手还是专业设计师,都能大幅提升工作效率,快速实现创意构想。网址:[https://www.baihezi.com/ai-painting-prompt](https://www.baihezi.com/ai-painting-prompt)
167 19
🎨  设计师必备!AI Stable Diffusion 提示词神器,让你秒变创意大师!
VersaGen:生成式 AI 代理,基于 Stable Diffusion 生成图像,专注于控制一至多个视觉主体等生成细节
VersaGen 是一款生成式 AI 代理,专注于文本到图像合成中的视觉控制能力,支持多种视觉控制类型,并通过优化策略提升图像生成质量和用户体验。
59 8
VersaGen:生成式 AI 代理,基于 Stable Diffusion 生成图像,专注于控制一至多个视觉主体等生成细节
神秘山洞惊现AI绘画至宝Stable Diffusion残卷
随着AI神器的现世,不少修士担忧其会取代人类职业。然而,自女娲创造人类以来,法宝虽强,始终只是辅助工具,需修士操控才能发挥威力。如今修仙界最大的至宝是GPT,它能以文字为引,转化出所需答案。图片处理方面也有Stable Diffusion、DALL-E等法宝。这些AI工具并非替代修士,而是提升效率的助手。例如,Stable Diffusion最初由慕尼黑和海德堡大学宗师炼制,现已发展多个版本,如v1、v2.0、SDXL等,帮助修士更便捷地生成图像。通过合理使用这些工具,修士们可以更好地实现心中所想,而非被技术取代。
57 6
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
介绍了一种利用AI助手快速获取并搭建Stable Diffusion图像生成应用的方法。用户只需在阿里云官网向AI助手提出需求,即可获得详细的实施方案。随后,按照AI助手提供的方案,通过函数计算部署应用,并进行测试。此过程显著提升了开发效率。
895 2
AI助理精准匹配,为您推荐方案——如何添加一个Stable Difussion图像生成应用
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
添加一个Stable Difussion图像生成应用,通过向AI助手简单的提问,即可快速搭建Stable Diffusion应用至自己的网站中,大幅提升开发效率。
在stable diffussion中完美修复AI图片
无论您的提示和模型有多好,一次性获得完美图像的情况很少见。修复小缺陷的不可或缺的方法是图像修复(inpainting)
在stable diffussion中完美修复AI图片
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法,通过融合Transformer和Diffusion模型,实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力,能够在单一架构中处理混合模态数据,有效学习文本与图像间的复杂关系,提升跨模态理解和生成效果。经过大规模预训练,Transfusion模型在多种基准测试中表现出色,尤其在图像压缩和模态特定编码方面具有优势。然而,其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
135 7

热门文章

最新文章