最近被layerdiffusion分层生成透明图像技术刷屏了!

简介: 最近被layerdiffusion分层生成透明图像技术刷屏了!

最近一周,在各大社交平台都能刷到众多互联网科技博主发文分享这样一款透明图像生成工具LayerDiffusion。


LayerDiffusionControlNet 作者提出的一种新技术,它允许大规模预训练的潜在扩散模型(Latent Diffusion Model)生成透明图像。


LayerDiffusion:https://github.com/layerdiffusion/LayerDiffusion


当然,这不仅仅是我们表面上看到了抠图这么简单,它的核心在于生成


基于LayerDiffusion也衍生出了两款比较火的插件:Comfyui LayerDiffusionsd-forge-layerdiffusion


这两款插件前两天还只是发布出来还不能真正开始使用,今天看最新消息称已经可以正式使用了。


Comfyui LayerDiffusion


ComfyUI-layerdiffusion 是 Layer Diffusion 的一个自定义实现,专门用于生成和处理前景、背景图像及其混合效果,目前只支持SDXL模型。


ComfyUI-layerdiffusion:https://github.com/huchenlei/ComfyUI-layerdiffusion


具体使用安装需要通过项目的下载或克隆,然后拷贝到ComfyUI的custom_nodes文件夹,并运行 pip install -r requirements.txt 安装Python相关依赖。


主要功能:


  • 生成前景:提供了生成带有透明度(RGB+alpha)的前景图像的流程。
  • 混合前景/背景:支持将给定的前景(FG)和背景(BG)图像混合。
  • 提取前景/背景:能够从混合图像中提取前景或背景,尽管该流程可能不如其他对象移除流程高效。


sd-forge-layerdiffusion


sd-forge-layerdiffusion 是LayerDiffusion作者自己开发的一个基于forge ui的项目,目前功能正在更新迭代中,该项目旨在为Stable Diffusion WebUI(通过Forge)提供生成透明图像和图层的能力,目前已实现基本的文生图功能,但透明的img2img(图生图)还未完成。


sd-forge-layerdiffusion:https://github.com/layerdiffusion/sd-forge-layerdiffusion


和普通版本的WebUI一样,在扩展处安装layer


其登录界面后所有模型都是自动下载的,适用于SDXL模型。能处理透明玻璃、半透明发光效果等,比简单的背景移除方法更为高级。


用于将SDXL转换为透明图像生成器,以及处理前景、背景和混合组合的图层生成模型等。

注意事项: 目前仅支持 SDXL 模型。


相关模型说明:模型说明:


  • layer_xl_transparent_attn.safetensors 一个LoRA,可将SDXL变成一个透明图像生成器。
  • layer_xl_transparent_conv.safetensors 将SDXL变成透明图像生成器的替代模型。
  • layer_xl_fg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景,并生成融合的组合。
  • layer_xl_fgble2bg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于前景和融合的组合,并生成背景。
  • layer_xl_bg2ble.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景,并生成融合的组合。
  • layer_xl_bgble2fg.safetensors 该模型包括偏移量,将SDXL变成一个层生成模型,该模型基于背景和融合的组合,并生成前景。
  • vae_transparent_encoder.safetensors 这是一个图像编码器,用于从像素空间提取潜在偏移量。该偏移量可以添加到潜在图像中,以帮助透明度的扩散。
  • vae_transparent_decoder.safetensors 这是一个图像解码器,输入为SD VAE输出和潜在图像,输出为真实的PNG图像。
相关文章
|
4月前
|
数据可视化 数据管理 vr&ar
|
6月前
全息近眼显示技术如何实现三维图像再现?
【6月更文挑战第26天】全息近眼显示技术如何实现三维图像再现?
52 4
|
传感器 机器学习/深度学习 算法
能抓取玻璃碎片、水下透明物,清华提出通用型透明物体抓取框架,成功率极高
能抓取玻璃碎片、水下透明物,清华提出通用型透明物体抓取框架,成功率极高
155 0
|
存储 传感器 编解码
苹果、俄勒冈州立提出AutoFocusFormer: 摆脱传统栅格,采用自适应下采样的图像分割
苹果、俄勒冈州立提出AutoFocusFormer: 摆脱传统栅格,采用自适应下采样的图像分割
132 0
|
7月前
|
开发者
所有消除游戏背后都有一张看不见的网格
所有消除游戏背后都有一张看不见的网格
82 0
|
传感器 XML 定位技术
《移动互联网技术》第九章 感知与多媒体: 了解质感设计的基本原则和设计方法
《移动互联网技术》第九章 感知与多媒体: 了解质感设计的基本原则和设计方法
109 0
|
机器学习/深度学习 存储 人工智能
又拍图片管家亿级图像之搜图系统的两代演进及底层原理
又拍图片管家亿级图像之搜图系统的两代演进及底层原理
127 0
|
机器学习/深度学习 编解码 vr&ar
一键生成山川、河流,风格多样,从2D图像中学习生成无限3D场景
一键生成山川、河流,风格多样,从2D图像中学习生成无限3D场景
175 0
|
开发者
所有消除游戏背后那张看不见的网格
观察一下上方的这一系列各种各样的消除游戏的图片,它们都有着这样的一个共同点,就是都是按照行列进行布局,有 7 行 7 列,有 10 行 10 列的。这样的行列布局是不是特别的像一个“网格”?这就是我们今天要讲的,所有消除游戏背后都有的那张看不见的“网格”。
114 0
|
前端开发 开发者
图像的透明 | 学习笔记
快速学习图像的透明
图像的透明 | 学习笔记
下一篇
DataWorks