AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(1)

简介: AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装

部署包作者:秋葉aaaki

免责声明:
本安装包及启动器免费提供 无任何盈利目的


大家好,我是风雨无阻。

众所周知,StableDiffusion 是非常强大的AI绘图工具,需要详细了解StableDiffusion的朋友,可查看我之前的这篇文章: 最近大火的两大AI绘图工具 Midjourney VS StableDiffusion。


今天为大家带来的是 Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装 。


首先来明确一下这个ControlNet1.1 到到底是什么?

ControlNet1.1 是Stable Diffusion 绘画插件,在2023年4月份更新了 V1.1 版本,发布了14 个优化模型,并新增了多个预处理器,并且在原有的模型上进行了一些优化,让它的功能比之前更加好用了。

那么我们先来详细了解一下 ControlNet1.1 的新模型新功能。


一、ControlNet1.1 的新模型新功能


1、新增Lineart模型 和 lineart_anime模型


现在新增了两个模型,lineart和lineart anime,完全可以替代原来的Canny强大的线稿上色,无论是上色黑白和彩色功能都非常强大。




2、新增Instruct Pix2Pix 模型


模型能够接受一张图像和相应的文字指令(也就是prompt),根据指令来编辑图像,局部整体操纵图像程度的能力。


将白天变为夜晚 ,如图:


换发型 ,如图:



换装 ,如图:


3、 新增Tile 模型

Tile 模型对于图片高清修复、提升细节、根据画面自动推断内容有着很好效果,根据官方的介绍有5种功能:

  • 可以进行图片放大 2x、4x 或 8x 超分辨率
  • 可以在图像中添加、更改或重新生成图像细节
  • 可以修复、细化和改进通过任何其他超分辨率方法获得的不良图像细节
  • 它可以引导SD放大脚本,生成错误的问题
  • 可以完成未完成的图稿,如果这些图稿是用色块绘制的



图像修复前:


图像修复后:


细节调整前:


细节调整后:


4 、新增shuffle 模型

shuffle模型可以称为重组模型,从shuffle模型的是使用效果来看,shuffle模型可以通过获取原图的风格后借助这个风格进行新的图片生成,所以当我们找到比较好的参考图时,就可以使用shuffle模型进行图片创作。


我们先来看一下人物图处理效果:



从成图效果来看,新生成的图片风格、色调、人物的部分姿态都进行还原和保留,因此我们使用Shuffle模型可以使用原图进行参考借鉴,重组画面进行生成的新图片。




相关文章
|
编解码 人工智能 API
通义万相2.1视频/图像模型新升级!可在阿里云百炼直接体验
通义万相2.1模型推出新特征,包括复杂人物运动的稳定展现、现实物理规律的逼真还原及中英文视频特效的绚丽呈现。通过自研的高效VAE和DiT架构,增强时空上下文建模能力,支持无限长1080P视频的高效编解码,并首次实现中文文字视频生成功能。升级后的通义万相荣登VBench榜单第一,提供电影级分镜效果、四格漫画故事速览及情侣头像创意定制等多种玩法,满足多样化的视觉创作需求。可直接在阿里云百炼平台调用API体验这些功能。
5971 0
|
11月前
|
人工智能 编解码 芯片
【AI绘画】你有多久没有打开SD了?
曾几何时,Stable Diffusion的复杂参数令人崩溃,如今即梦、可灵等AI工具已让生成图片变得轻而易举。哩布哩布发布2.0升级公告,看似迈向更易用的未来,却也悄然为那个钻研模型、拼接工作流的“拓荒时代”奏响终章。技术迭代飞快,但那份对创造的热爱与探索精神,永不褪色。
1168 9
|
自然语言处理 算法 云栖大会
通义万相发布视频生成模型,更懂中国风、中国话
通义万相发布视频生成模型,可一键创作影视级高清视频
2023 13
|
编解码 物联网 API
"揭秘SD文生图的神秘面纱:从选择模型到生成图像,一键解锁你的创意图像世界,你敢来挑战吗?"
【10月更文挑战第14天】Stable Diffusion(SD)文生图功能让用户通过文字描述生成复杂图像。过程包括:选择合适的SD模型(如二次元、2.5D、写实等),编写精准的提示词(正向和反向提示词),设置参数(迭代步数、采样方法、分辨率等),并调用API生成图像。示例代码展示了如何使用Python实现这一过程。
966 4
|
人工智能 编解码
通义万相2.1:VBench榜单荣登第一!阿里通义万相最新视频生成模型,支持生成1080P长视频
万相2.1是阿里通义万相最新推出的视频生成模型,支持1080P无限长视频生成,具备复杂动作展现、物理规律还原、艺术风格转换等功能。
3675 27
通义万相2.1:VBench榜单荣登第一!阿里通义万相最新视频生成模型,支持生成1080P长视频
|
机器学习/深度学习 编解码 缓存
通义万相2.1首尾帧模型开源!细节真实生动+过渡丝滑,指令遵循表现出色!
通义万相2.1首尾帧模型开源!细节真实生动+过渡丝滑,指令遵循表现出色!
2215 7
|
数据采集 编解码 缓存
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
2025年1月,阿里通义万相Wan2.1模型登顶Vbench榜首第一,超越Sora、HunyuanVideo、Minimax、Luma、Gen3、Pika等国内外视频生成模型。而在今天,万相Wan2.1视频生成大模型正式开源!
8152 8
|
人工智能 编解码 API
刚刚,通义万相模型能力重磅升级!
刚刚,通义万相模型能力重磅升级!
|
数据采集 编解码 缓存
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
通义万相Wan2.1视频模型开源!视频生成模型新标杆,支持中文字效+高质量视频生成
3700 0
|
人工智能 测试技术
语言图像模型大一统!Meta将Transformer和Diffusion融合,多模态AI王者登场
【9月更文挑战第20天】Meta研究人员提出了一种名为Transfusion的创新方法,通过融合Transformer和Diffusion模型,实现了能同时处理文本和图像数据的多模态模型。此模型结合了语言模型的预测能力和Diffusion模型的生成能力,能够在单一架构中处理混合模态数据,有效学习文本与图像间的复杂关系,提升跨模态理解和生成效果。经过大规模预训练,Transfusion模型在多种基准测试中表现出色,尤其在图像压缩和模态特定编码方面具有优势。然而,其训练所需的大量计算资源和数据、以及潜在的伦理和隐私问题仍需关注。
566 8

热门文章

最新文章