AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(1)

简介: AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好,我是风雨无阻。

众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么?

ControlNet1.1 是Stable Diffusion 绘画插件,在2023年4月份更新了 V1.1 版本,发布了14 个优化模型,并新增了多个预处理器,并且在原有的模型上进行了一些优化,让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型,lineart和lineart anime,完全可以替代原来的Canny强大的线稿上色,无论是上色黑白和彩色功能都非常强大。




2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt),根据指令来编辑图像,局部整体操纵图像程度的能力。


将白天变为夜晚 ,如图:


换发型 ,如图:



换装 ,如图:


3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果,根据官方的介绍有5种功能:

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本,生成错误的问题
  • 可以完成未完成的图稿,如果这些图稿是用色块绘制的



图像修复前:


图像修复后:


细节调整前:


细节调整后:


4 、新增shuffle 模型

shuffle模型可以称为重组模型,从shuffle模型的是使用效果来看,shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成,所以当我们找到比较好的参考图时,就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果:



从成图效果来看,新生成的图片风格、色调、人物的部分姿态都进行还原和保留,因此我们使用Shuffle模型可以使用原图进行参考借鉴,重组画面进行生成的新图片。




相关文章
|
云安全 人工智能 自然语言处理
阿里云x硅基流动:AI安全护栏助力构建可信模型生态
阿里云AI安全护栏:大模型的“智能过滤系统”。
3268 120
|
人工智能 搜索推荐 程序员
当AI学会“跨界思考”:多模态模型如何重塑人工智能
当AI学会“跨界思考”:多模态模型如何重塑人工智能
1643 120
|
人工智能 数据安全/隐私保护 异构计算
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
1919 8
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
|
人工智能 物联网
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
4052 0
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
2975 0
|
人工智能 开发工具 git
【AI绘画】Stable Diffusion 客户端搭建
【AI绘画】Stable Diffusion 客户端搭建
616 0
【AI绘画】Stable Diffusion 客户端搭建
|
机器学习/深度学习 人工智能 API
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
3314 4
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
|
机器学习/深度学习 人工智能 算法
Stable Diffusion AI绘画
Stable Diffusion是人工智能领域的文本到图像生成模型,基于概率的连续扩散过程,学习数据潜在分布并生成新样本。模型使用Web UI进行交互,提供不同采样器如Euler和DPM++,后者常配以Karras算法。提示词对生成效果至关重要,可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外,模型文件(ckpt/safetensors)和Lora微调模型需存放在正确目录以确保功能正常。
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(二)
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(二)
1293 4