最近被layerdiffusion分层生成透明图像技术刷屏了!

简介: 最近被layerdiffusion分层生成透明图像技术刷屏了!

最近一周,在各大社交平台都能刷到众多互联网科技博主发文分享这样一款透明图像生成工具LayerDiffusion。


LayerDiffusionControlNet 作者提出的一种新技术,它允许大规模预训练的潜在扩散模型(Latent Diffusion Model)生成透明图像。


LayerDiffusion:https://github.com/layerdiffusion/LayerDiffusion


当然,这不仅仅是我们表面上看到了抠图这么简单,它的核心在于生成


基于LayerDiffusion也衍生出了两款比较火的插件:Comfyui LayerDiffusionsd-forge-layerdiffusion


这两款插件前两天还只是发布出来还不能真正开始使用,今天看最新消息称已经可以正式使用了。


Comfyui LayerDiffusion


ComfyUI-layerdiffusion 是 Layer Diffusion 的一个自定义实现,专门用于生成和处理前景、背景图像及其混合效果,目前只支持SDXL模型。


ComfyUI-layerdiffusion:https://github.com/huchenlei/ComfyUI-layerdiffusion


具体使用安装需要通过项目的下载或克隆,然后拷贝到ComfyUI的custom_nodes文件夹,并运行 pip install -r requirements.txt 安装Python相关依赖。


主要功能:


  • 生成前景:提供了生成带有透明度(RGB+alpha)的前景图像的流程。
  • 混合前景/背景:支持将给定的前景(FG)和背景(BG)图像混合。
  • 提取前景/背景:能够从混合图像中提取前景或背景,尽管该流程可能不如其他对象移除流程高效。


sd-forge-layerdiffusion


sd-forge-layerdiffusion 是LayerDiffusion作者自己开发的一个基于forge ui的项目,目前功能正在更新迭代中,该项目旨在为Stable Diffusion WebUI(通过Forge)提供生成透明图像和图层的能力,目前已实现基本的文生图功能,但透明的img2img(图生图)还未完成。


sd-forge-layerdiffusion:https://github.com/layerdiffusion/sd-forge-layerdiffusion


和普通版本的WebUI一样,在扩展处安装layer


其登录界面后所有模型都是自动下载的,适用于SDXL模型。能处理透明玻璃、半透明发光效果等,比简单的背景移除方法更为高级。


用于将SDXL转换为透明图像生成器,以及处理前景、背景和混合组合的图层生成模型等。

注意事项: 目前仅支持 SDXL 模型。


相关模型说明:模型说明:


  • layer_xl_transparent_attn.safetensors 一个LoRA,可将SDXL变成一个透明图像生成器。
  • layer_xl_transparent_conv.safetensors 将SDXL变成透明图像生成器的替代模型。
  • layer_xl_fg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景,并生成融合的组合。
  • layer_xl_fgble2bg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景和融合的组合,并生成背景。
  • layer_xl_bg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景,并生成融合的组合。
  • layer_xl_bgble2fg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景和融合的组合,并生成前景。
  • vae_transparent_encoder.safetensors 这是一个图像编码器,用于从像素空间提取潜在偏移量。该偏移量可以添加到潜在图像中,以帮助透明度的扩散。
  • vae_transparent_decoder.safetensors 这是一个图像解码器,输入为SD VAE输出和潜在图像,输出为真实的PNG图像。
相关文章
|
数据挖掘
跟着 Nature 学作图 | 相关性热图(显示相关性散点图)
跟着 Nature 学作图 | 相关性热图(显示相关性散点图)
1579 0
|
人工智能 Serverless API
AI 创业及变现新思路:零门槛 AI 绘图,定制 ComfyUI Serverless API 应用
为了帮助用户高效率、低成本应对企业级复杂场景,本文介绍 ComfyUI API Serverless 版解决方案,通过使用该方案,用户可以充分利用 ComfyUI +Serverless 技术优势快速开发上线 AI 绘画应用,期待为广大开发者 AI 绘画创业及变现提供思路。
1610 9
|
canal 缓存 NoSQL
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
根据对一致性的要求程度,提出多种解决方案:同步删除、同步删除+可靠消息、延时双删、异步监听+可靠消息、多重保障方案
Redis缓存与数据库如何保证一致性?同步删除+延时双删+异步监听+多重保障方案
|
存储 负载均衡 算法
Nacos注册表解读
Nacos注册表解读
|
存储 关系型数据库 API
深入理解后端技术:构建高效、可扩展的服务器端应用
本文将探讨后端开发的核心概念和技术,包括服务器端编程、数据库管理、API设计和安全性等方面。通过深入浅出的方式,让读者了解如何构建高效、可扩展的后端系统。我们将从基本的后端框架开始,逐步深入到高级主题,如微服务架构和容器化部署。无论您是初学者还是有经验的开发人员,都能在本文中找到有价值的信息和实用的建议。
|
机器学习/深度学习 人工智能 算法
【CVPR2024】面向StableDiffusion的编辑算法FreePromptEditing,提升图像编辑效果
近日,阿里云人工智能平台PAI与华南理工大学贾奎教授团队合作在深度学习顶级会议 CVPR2024 上发表 FPE(Free-Prompt-Editing) 算法,这是一种面向StableDiffusion的图像编辑算法。在这篇论文中,StableDiffusion可用于实现图像编辑的本质被挖掘,解释证明了基于StableDiffusion编辑的算法本质,并基于此设计了新的图像编辑算法,大幅度提升了图像编辑的效率。
|
人工智能 自然语言处理 搜索推荐
【新手向】ChatGPT入门指南 - 订阅GPT4之前必须了解的十件事情
文章详细介绍了ChatGPT的基本原理、能做什么、各种GPT模型之间的区别、如何订阅GPT Plus、以及使用GPT Plus之前必须知道的重要信息。本指南旨在帮助读者轻松升级至ChatGPT 4.0,享受AI技术的强大能力,同时提供了安全高效使用GPT 4.0的建议,是迈向高级ChatGPT使用的一站式指南。
【新手向】ChatGPT入门指南 - 订阅GPT4之前必须了解的十件事情
|
Android开发 C++
Android S HAL库的编译
Android S HAL库的编译
306 0