冬天到了,用OmniGen生成一个温暖的拥抱

简介: 近期,北京智源人工智能研究院(BAAI)正式推出了一款名为OmniGen的新型多功能图像生成模型。

01引言

近期,北京智源人工智能研究院(BAAI)正式推出了一款名为OmniGen的新型多功能图像生成模型。这一创新性扩散模型架构旨在为用户提供一站式的图像生成解决方案,涵盖从文本生成图像、图像编辑到主题驱动生成以及视觉条件生成等多种应用场景,标志着人工智能图像生成技术的进一步成熟。

OmniGen 是一个统一的图像生成模型,可以根据多模态提示生成各种图像。它设计简单、灵活且易于使用。本文提供了推理代码和Comfyui运行方式,以便每个人都可以探索 OmniGen 的更多功能。

现有的图像生成模型往往需要加载多个额外的网络模块(如 ControlNet、IP-Adapter、Reference-Net 等)并执行额外的预处理步骤(例如人脸检测、姿势估计、裁剪等)才能生成令人满意的图像。但认为未来的图像生成范式应该更加简单灵活,即直接通过任意多模态指令生成各种图像,而无需额外的插件和操作,类似于 GPT 在语言生成中的工作方式。

用户可以轻松地微调 OmniGen,而不必担心为特定任务设计模型;你只需要准备相应的数据,然后运行训练脚本即可。想象力不再受限;每个人都可以构造任何图像生成任务,可以实现非常有趣、精彩和富有创意的事情。

核心亮点

  1. 新的图像生成模型OmniGen,能够处理多种任务和条件,并且具有推理能力和学习能力。
  2. OmniGen不需要额外模块来处理控制条件,具有高度简化的架构,用户友好,可简化工作流程。
  3. OmniGen通过统一格式的学习,能够跨任务转移知识,处理未见过的任务和领域,并具备新颖的能力。
  4. OmniGen可以同时处理多个任务和同一任务的不同指令,具有灵活性和广泛应用潜力。
  5. OmniGen能够从参考图像中提取相关信息并基于捕捉到的条件生成新图像,无需使用其他模型进行显式条件提取

模型网络

OmniGen框架采用由变分自编码器(VAE)和预训练的大规模Transformer模型组成的架构。具体来说,VAE从图像中提取连续的视觉特征,而Transformer模型则根据输入条件生成图像。在本文中,使用SDXL中的VAE,并将其冻结以进行训练。使用Phi-3来初始化Transformer模型,继承其出色的文本处理能力。不同于最先进的扩散模型需要额外的编码器对条件信息进行预处理(例如Clip文本编码器和图像编码器),OmniGen本身就可以编码条件信息,显著简化了管道。此外,OmniGen联合建模文本和图像在一个模型内,而不是像现有工作那样分别用不同的编码器独立地建模不同输入条件,这些工作缺乏不同模态条件之间的交互。

🔗模型链接:

https://modelscope.cn/models/BAAI/OmniGen-v1

🔗体验链接:

https://modelscope.cn/studios/chuanSir/OmniGen

02 魔搭最佳实践

🫂推理代码(来个拥抱!)

环境安装

# 环境安装
!git clone https://github.com/VectorSpaceLab/OmniGen.git
%cd OmniGen
!pip install -e .

模型下载和推理

from OmniGen import OmniGenPipelinefrom modelscope import snapshot_downloadmodel_dir = snapshot_download("BAAI/OmniGen-v1")pipe = OmniGenPipeline.from_pretrained(model_dir)  ## Multi-modal to Image# In the prompt, we use the placeholder to represent the image. The image placeholder should be in the format of <img><|image_*|></img># You can add multiple images in the input_images. Please ensure that each image has its placeholder. For example, for the list input_images [img1_path, img2_path], the prompt needs to have two placeholders: <img><|image_1|></img>, <img><|image_2|></img>.images = pipe(    prompt="A man is hugging with a girl. The girl is the bear in <img><|image_1|></img>. The man is the girl in <img><|image_2|></img>.",    input_images=["/mnt/workspace/bear.jpg","/mnt/workspace/girl.jpg"],    height=512,     width=512,    guidance_scale=2,     img_guidance_scale=1.6,    seed=42)images[0].save("example_ti2i.png")  # save output PIL image

显存占用:

🔗notebook链接:https://modelscope.cn/notebook/share/ipynb/4dcfd153/OmniInference.ipynb

03Comfyui实战

环境安装

# 环境安装
!git clone https://github.com/VectorSpaceLab/OmniGen.git
%cd OmniGen
!pip install -e .
%cd ..

下载依赖

# #@title Environment Setup
from pathlib import Path
OPTIONS = {}
UPDATE_COMFY_UI = True  #@param {type:"boolean"}
INSTALL_COMFYUI_MANAGER = True  #@param {type:"boolean"}
INSTALL_CUSTOM_NODES_DEPENDENCIES = True  #@param {type:"boolean"}
INSTALL_CUSTOM_NODES_OMNIGEN = True #@param {type:"boolean"}
OPTIONS['UPDATE_COMFY_UI'] = UPDATE_COMFY_UI
OPTIONS['INSTALL_COMFYUI_MANAGER'] = INSTALL_COMFYUI_MANAGER
OPTIONS['INSTALL_CUSTOM_NODES_DEPENDENCIES'] = INSTALL_CUSTOM_NODES_DEPENDENCIES
OPTIONS['INSTALL_CUSTOM_NODES_OMNIGEN'] = INSTALL_CUSTOM_NODES_OMNIGEN
current_dir = !pwd
WORKSPACE = f"{current_dir[0]}/ComfyUI"
![ ! -d $WORKSPACE ] && echo -= Initial setup ComfyUI =- && git clone https://github.com/comfyanonymous/ComfyUI
%cd $WORKSPACE
if OPTIONS['UPDATE_COMFY_UI']:
  !echo "-= Updating ComfyUI =-"
  !git pull
if OPTIONS['INSTALL_COMFYUI_MANAGER']:
  %cd custom_nodes
  ![ ! -d ComfyUI-Manager ] && echo -= Initial setup ComfyUI-Manager =- && git clone https://github.com/ltdrdata/ComfyUI-Manager
  %cd ComfyUI-Manager
  !git pull
if OPTIONS['INSTALL_CUSTOM_NODES_OMNIGEN']:
  %cd ..
  !echo -= Initial setup ComfyUI_Omnigen =- && git clone https://github.com/1038lab/ComfyUI-OmniGen.git

运行Comfyui页面

!wget "https://modelscope.oss-cn-beijing.aliyuncs.com/resource/cloudflared-linux-amd64.deb"
!dpkg -i cloudflared-linux-amd64.deb
%cd /mnt/workspace/ComfyUI
import subprocess
import threading
import time
import socket
import urllib.request
def iframe_thread(port):
  while True:
      time.sleep(0.5)
      sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
      result = sock.connect_ex(('127.0.0.1', port))
      if result == 0:
        break
      sock.close()
  print("\nComfyUI finished loading, trying to launch cloudflared (if it gets stuck here cloudflared is having issues)\n")
  p = subprocess.Popen(["cloudflared", "tunnel", "--url", "http://127.0.0.1:{}".format(port)], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
  for line in p.stderr:
    l = line.decode()
    if "trycloudflare.com " in l:
      print("This is the URL to access ComfyUI:", l[l.find("http"):], end='')
    #print(l, end='')
threading.Thread(target=iframe_thread, daemon=True, args=(8188,)).start()
!python main.py --dont-print-server

🔗导入Comfyui工作流:

https://github.com/1038lab/ComfyUI-OmniGen/tree/main/Examples

工作流示例:

显存占用:

🔗notebook链接分享:

https://modelscope.cn/notebook/share/ipynb/aadb79ef/comfyui_omnigen.ipynb


点击链接👇,即可跳转体验~

https://modelscope.cn/studios/chuanSir/OmniGen?from=alizishequ__text

相关文章
|
7月前
|
机器学习/深度学习 测试技术 定位技术
新扩散模型OmniGen一统图像生成,架构还高度简化、易用
近期,一篇题为“OmniGen: Unified Image Generation”的论文介绍了一种新型扩散模型OmniGen,旨在统一图像生成任务。OmniGen架构简洁,无需额外模块即可处理多种任务,如文本到图像生成、图像编辑等。该模型通过修正流优化,展现出与现有模型相当或更优的性能,尤其在图像编辑和视觉条件生成方面表现突出。OmniGen仅含3.8亿参数,却能有效处理复杂任务,简化工作流程。尽管如此,OmniGen仍存在对文本提示敏感、文本渲染能力有限等问题,未来研究将继续优化其架构与功能。
188 16
|
8月前
|
算法 物联网 开发者
In-Context LoRA实现高效多任务图像生成,开启视觉创作新篇章
这篇文章介绍了通义实验室提出的In-Context LoRA,这是一种基于现有文本到图像模型的任务无关性框架,用于实现高质量的多任务图像生成。
1273 11
In-Context LoRA实现高效多任务图像生成,开启视觉创作新篇章
|
4月前
|
人工智能 自然语言处理 数据可视化
autoMate:无需视觉模型!用DeepSeek-V3/R1就能实现自动化操作电脑,支持任何可视化界面
autoMate是一款基于AI和RPA的本地自动化工具,通过自然语言实现复杂任务的自动化操作,支持本地部署,确保数据安全和隐私,适合需要高效处理重复性工作的用户。
391 1
autoMate:无需视觉模型!用DeepSeek-V3/R1就能实现自动化操作电脑,支持任何可视化界面
|
11月前
|
存储 人工智能 调度
魔搭社区每周速递(7.27-8.3)
155个模型、123个数据集、68个创新应用、5篇应用文章
|
11月前
|
小程序 API 调度
消费级显卡,17G显存,玩转图像生成模型FLUX.1!
近期stable diffusion的部分核心开发同学,推出了全新的图像生成模型FLUX.1。
|
9月前
|
编解码 物联网 计算机视觉
实战 | 猫猫、少女、FLUX、ControlNet
魔搭社区集结了来自多个组织的 FLUX ControlNet 模型,魔搭社区的开源项目 DiffSynth-Studio 为这些模型提供了支持,今天就随我们一起,体验一下这些 FLUX ControlNet 模型的神奇生成能力。
|
11月前
|
SQL 自然语言处理 JavaScript
社区供稿 | 新版本源2.0大模型发布:Yuan2-2B-July-hf
近日,浪潮信息的新一代基础语言大模型源2.0 迎来了重要更新。
|
9月前
|
自然语言处理 语音技术 开发者
如何利用 OpenVINO™ 部署 Qwen2 多模态模型
本文将分享如何利用 OpenVINO™ 工具套件在轻薄本上部署 Qwen2-Audio 以及 Qwen2-VL 多模态模型。
|
9月前
|
编解码 人工智能 并行计算
阿里妈妈技术开源FLUX图像修复&蒸馏加速模型
本文介绍了阿里妈妈技术团队基于FLUX开发的Controlnet修复模型和蒸馏加速模型,填补了社区空白并提升了FLUX的实用性和效率。
|
10月前
|
文字识别 自然语言处理 数据可视化
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
在 Qwen2 发布后的过去三个月里,许多开发者基于 Qwen2 语言模型构建了新的模型,并提供了宝贵的反馈。在这段时间里,通义千问团队专注于创建更智能、更博学的语言模型。今天,Qwen 家族的最新成员:Qwen2.5系列正式开源
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战!
AI助理
登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问

你好,我是AI助理

可以解答问题、推荐解决方案等