AI 绘画Stable Diffusion 研究(十)sd图生图功能详解-精美二维码的制作

简介: AI 绘画Stable Diffusion 研究(十)sd图生图功能详解-精美二维码的制作

为了让大家更直观的了解图生图功能,明白图生图功能到底是干嘛的,能做什么事情?今天我们继续介绍图生图的实用案例-精美二维码的制作。


对于新朋友,想详细了解Stable Diffusion 的话,请查看往期文章:

AI 绘画Stable Diffusion 研究(一)sd整合包v4.2 版本安装说明

AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装

AI 绘画Stable Diffusion 研究(三)sd模型种类介绍及安装使用详解

AI 绘画Stable Diffusion 研究(四)sd文生图功能详解(上)

AI 绘画Stable Diffusion 研究(五)sd文生图功能详解(下)

AI 绘画Stable Diffusion 研究(六)sd提示词插件

AI 绘画Stable Diffusion 研究(七) 一文读懂 Stable Diffusion 工作原理

AI 绘画Stable Diffusion 研究(八)sd采样方法详解

AI 绘画Stable Diffusion 研究(九)sd图生图功能详解-老照片高清修复放大


老规矩,这里还是以案例穿插知识点说明的方式进行讲解。


各位朋友,可以根据我的步骤一边进行实操,一边进行理论知识的学习,这样能提高学习效率。


精美二维码制作案例


最近发现有很多朋友把二维码艺术化变成一张非常好看的图片,看着效果不错,毕竟现在二维码的的应用太广了,而现在大多数二维码,都一堆的小黑点,毫无美感可言。



那么,这些二维码怎么制作呢?

那就是利用Stable Diffusion 图生图功能,配合ControlNet的Brightness模型,生成融合图片效果。

Brightness这个模型比较特殊,它不是官方的ControlNet的模型。


下面是详细的制作步骤。


如果你还没安装过ControlNet的Brightness模型,请前往下载安装,已安装过的朋友请忽略。


1、Brightness模型下载安装

(1)、Brightness模型下载

https://huggingface.co/ioclab/control_v1p_sd15_brightness/tree/main

如下图:

打开下载地址,点击下载 diffusion_pytorch_model.safetensors 文件即可。


如果上面的网站下载比较慢,也可以在这里免费下载control_v1p_sd15_brightness


(2)、将下载后的模型文件重新命名为:control_v1p_sd15_brightness.safetensors

放到models\ControlNet目录下

\sd-webui-aki-v4.2\models\ControlNet\control_v1p_sd15_brightness.safetensors


如图:


2、准备好你的二维码


二维码要求中间最好没有图标,需要是一张纯二维码,否则会影响后面生成图像的质量。

如果没法获得纯二维码,那可以用 联图网草料二维码或者其他二维码之类的工具,生成纯二维码。


3、设置支持最少2个以上contrlnet窗口


在设置 -> controlnet中,设置不少于2个的contrlnet模型数量。

比如4个, 设置完成后,需要点击顶部“保存设置”按钮,然后再点击“重载前端”按钮,重新加载界面。



4、图生图参数设置


(1)、导入图片



(2)、反推提示词


图生图反推提示词功能介绍:

反推提示词是Stable diffusion图生图中的功能,图生图的基础逻辑是通过上传的图片,可使用反推提示词或自主输入提示词,基于选择的Stable diffusion模型进行生成相似风格的图片。



  • CLIP 反推

CLIP反推提示词,是根据在图生图中上传的图片,使用自然语言描述展示。clip反推速度,相对较慢。

  • DeepBooru反推

DeepBooru反推提示词,是根据在图生图中上传的图片,使用关键词的形式展示。DeepBooru反推速度更快,更专业。


因此,这里我们选择使用DeepBooru反推提示词。



然后再填写上固定反向提示词:

NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality,(monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331),duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:l.331), mutated hands, (poorly drawnands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331),missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051),unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers.((extra arms and legs)))



(3)、设置参数

  • 设置缩放模式:仅调整大小
  • 设置迭代步数:28
  • 选择采样方法:dpm++ sde karras
  • 勾选面部修复
  • 设置重绘制尺寸:点击下三角,自动获取原图尺寸
  • 重回幅度、提示词默认

如图:


5、ControlNet 插件设置


(1)、将准备好的二维码,导入到 ControlNet 图片区域


(2)、勾选启用 ,控制类型选择默认



(3)、设置第一个 ControlNet


  • 预处理选择:inpaint_global_harmonious
  • 模型选择:control_v1p_sd15_brightness
  • 控制权重设置:0.3,其他保持默认



(4)、设置第二个controlnet


  • 预处理选择:inpaint_global_harmonious
  • 模型选择:control_v11file_sd15_title
  • 控制权重设置:0.5,开始step设置0.35,end step设置0.75



ControlNet设置好之后,会发现后面显示2unit,并且下面两个ControlNet窗口都变成绿色,说明这两个ControlNet都启用了。



6、生成并调试参数


点击生成按钮查看效果。


当发现二维码的痕迹比较深,而图像的痕迹比较浅,则适度调低第一个controlnet的权重weight

建议调试范围在0.2-0.4之间(调试间隔为0.05)


当发现二维码和图像融合较好,但是扫描不出来二维码的信息时,可以适度调高第二个contrlnet的参数

建议调试范围在0.5以上(调试间隔为0.05)


7、最后二维码和图像基本融为一体,变成了艺术化的二维码


如图:


这个精美的二维码图片效果,各位可还满意?

好了,我们的第二个图生图的功能案例就到此结束。


相关文章
|
11月前
|
机器学习/深度学习 人工智能 文字识别
UGPhysics:本科物理推理评估基准发布,助力AI+Physics交叉研究
近年来,人工智能快速发展,大语言模型(LLM)在数学、代码等领域展现出强大的推理和生成能力,正在被广泛应用于各种场景。
399 0
|
7月前
|
人工智能 编解码 芯片
【AI绘画】你有多久没有打开SD了?
曾几何时,Stable Diffusion的复杂参数令人崩溃,如今即梦、可灵等AI工具已让生成图片变得轻而易举。哩布哩布发布2.0升级公告,看似迈向更易用的未来,却也悄然为那个钻研模型、拼接工作流的“拓荒时代”奏响终章。技术迭代飞快,但那份对创造的热爱与探索精神,永不褪色。
968 9
|
7月前
|
存储 人工智能 安全
拔俗AI临床大数据科研分析平台:让医学研究更智能、更高效
阿里云原生AI临床大数据科研平台,打通异构医疗数据壁垒,实现智能治理、可视化分析与多中心安全协作,助力医院科研提速增效,推动精准医疗发展。
1348 1
|
人工智能 大数据 安全
拔俗AI临床大数据科研分析平台:用智能技术加速医学研究新突破
AI临床大数据科研平台基于云原生架构,融合医疗NLP、联邦学习与智能分析技术,破解非结构化数据处理难、多源数据融合难、统计周期长等痛点,实现数据治理、智能分析与安全协作全链路升级,赋能医学科研高效、安全、智能化发展。
334 0
|
10月前
|
机器学习/深度学习 人工智能 自动驾驶
AI Agent多模态融合策略研究与实证应用
本文从多模态信息融合的理论基础出发,构建了一个结合图像与文本的AI Agent模型,并通过PyTorch代码实现了完整的图文问答流程。未来,多模态智能体将在医疗、自动驾驶、虚拟助手等领域展现巨大潜力。模型优化的核心是提升不同模态的协同理解与推理能力,从而打造真正“理解世界”的AI Agent。
AI Agent多模态融合策略研究与实证应用
|
10月前
|
机器学习/深度学习 人工智能 算法
深度强化学习在异构环境中AI Agent行为泛化能力研究
随着人工智能技术的迅猛发展,AI Agent 在游戏、智能制造、自动驾驶等场景中已逐步展现出强大的自适应能力。特别是深度强化学习(Deep Reinforcement Learning, DRL)的引入,使得智能体能够通过与环境的交互,自动学习最优的行为策略。本文将系统性地探讨基于深度强化学习的AI Agent行为决策机制,并结合代码实战加以说明。
深度强化学习在异构环境中AI Agent行为泛化能力研究
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
原来AI也能“读心术”?——聊聊AI在心理学研究中的那些突破
原来AI也能“读心术”?——聊聊AI在心理学研究中的那些突破
474 1
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
AI 驱动:如何用AI直接生成矢量 Logo? 技术研究与工具选择
AI 技术革新品牌标志设计,通过深度学习分析数据,精准把握市场趋势,智能生成高辨识度 Logo。矢量格式(SVG)确保清晰不失真,适配各类展示场景。AI 工具高效便捷,支持个性化定制,助力品牌快速打造专业视觉形象,成为市场竞争中的有力武器。
618 0
|
机器学习/深度学习 人工智能 搜索推荐
AutoGLM沉思:智谱AI推出首个能"边想边干"的自主智能体!深度研究+多模态交互,颠覆传统AI工作模式
AutoGLM沉思是由智谱AI推出的一款开创性AI智能体,它突破性地将深度研究能力与实际操作能力融为一体,实现了AI从被动响应到主动执行的跨越式发展。
1356 16
AutoGLM沉思:智谱AI推出首个能"边想边干"的自主智能体!深度研究+多模态交互,颠覆传统AI工作模式