AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(1)

简介: AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好,我是风雨无阻。

众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion


今天为大家带来的是 Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么?

ControlNet1.1 是Stable Diffusion 绘画插件,在2023年4月份更新了 V1.1 版本,发布了14 个优化模型,并新增了多个预处理器,并且在原有的模型上进行了一些优化,让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型,lineart和lineart anime,完全可以替代原来的Canny强大的线稿上色,无论是上色黑白和彩色功能都非常强大。




2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt),根据指令来编辑图像,局部整体操纵图像程度的能力。


将白天变为夜晚 ,如图:


换发型 ,如图:



换装 ,如图:


3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果,根据官方的介绍有5种功能:

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本,生成错误的问题
  • 可以完成未完成的图稿,如果这些图稿是用色块绘制的



图像修复前:


图像修复后:


细节调整前:


细节调整后:


4 、新增shuffle 模型

shuffle模型可以称为重组模型,从shuffle模型的是使用效果来看,shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成,所以当我们找到比较好的参考图时,就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果:



从成图效果来看,新生成的图片风格、色调、人物的部分姿态都进行还原和保留,因此我们使用Shuffle模型可以使用原图进行参考借鉴,重组画面进行生成的新图片。




相关文章
|
5天前
|
人工智能 Java API
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
本文介绍AI大模型的核心概念、分类及开发者学习路径,重点讲解如何选择与接入大模型。项目基于Spring Boot,使用阿里云灵积模型(Qwen-Plus),对比SDK、HTTP、Spring AI和LangChain4j四种接入方式,助力开发者高效构建AI应用。
276 122
AI 超级智能体全栈项目阶段一:AI大模型概述、选型、项目初始化以及基于阿里云灵积模型 Qwen-Plus实现模型接入四种方式(SDK/HTTP/SpringAI/langchain4j)
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
AI Compass前沿速览:Qwen3-Max、Mixboard、Qwen3-VL、Audio2Face、Vidu Q2 AI视频生成模型、Qwen3-LiveTranslate-全模态同传大模型
|
8天前
|
人工智能 负载均衡 API
Vercel 发布 AI Gateway 神器!可一键访问数百个模型,助力零门槛开发 AI 应用
大家好,我是Immerse,独立开发者、AGI实践者。分享编程、AI干货、开源项目与个人思考。关注公众号“沉浸式趣谈”,获取独家内容。Vercel新推出的AI Gateway,统一多模型API,支持自动切换、负载均衡与零加价调用,让AI开发更高效稳定。一行代码切换模型,告别接口烦恼!
90 1
Vercel 发布 AI Gateway 神器!可一键访问数百个模型,助力零门槛开发 AI 应用
|
12天前
|
机器学习/深度学习 人工智能 自然语言处理
如何让AI更“聪明”?VLM模型的优化策略与测试方法全解析​
本文系统解析视觉语言模型(VLM)的核心机制、推理优化、评测方法与挑战。涵盖多模态对齐、KV Cache优化、性能测试及主流基准,助你全面掌握VLM技术前沿。建议点赞收藏,深入学习。
193 8
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
1455 0
|
人工智能 物联网
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
AI 绘画Stable Diffusion 研究(十七)SD lora 详解(上)
2349 0
|
人工智能 开发工具 git
【AI绘画】Stable Diffusion 客户端搭建
【AI绘画】Stable Diffusion 客户端搭建
320 0
【AI绘画】Stable Diffusion 客户端搭建
|
机器学习/深度学习 人工智能 算法
Stable Diffusion AI绘画
Stable Diffusion是人工智能领域的文本到图像生成模型,基于概率的连续扩散过程,学习数据潜在分布并生成新样本。模型使用Web UI进行交互,提供不同采样器如Euler和DPM++,后者常配以Karras算法。提示词对生成效果至关重要,可以利用GPT等生成提示词。用户还能调整参数如高清修复和批处理次数来影响生成的图像。此外,模型文件(ckpt/safetensors)和Lora微调模型需存放在正确目录以确保功能正常。
|
机器学习/深度学习 人工智能 API
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
1593 4
薅羊毛!阿里云免费GPU云主机畅玩AI绘画,免费领取阿里云v100显卡搭建AI绘画利器Stable Diffusion
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(二)
Stable Diffusion文生图-图生图-ControINet插件-线稿上色-生产全套表情包-3D Openpose-局部重绘-换衣服,换姿势人设三视图一键生成教程大全(二)
622 4