OminiControl:AI图像生成框架,实现图像主题控制和空间精确控制

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,视频资源包5000点
简介: OminiControl 是一个高度通用且参数高效的 AI 图像生成框架,专为扩散变换器模型设计,能够实现图像主题控制和空间精确控制。该框架通过引入极少量的额外参数(0.1%),支持主题驱动控制和空间对齐控制,适用于多种图像生成任务。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:OminiControl 支持主题驱动控制和空间对齐控制,适用于多种图像生成任务。
  2. 技术:通过参数重用机制和统一序列设计,实现高效的多模态注意力交互。
  3. 应用:适用于艺术创作、游戏开发、电影制作、广告营销等多个领域。

正文(附运行示例)

OminiControl 是什么

公众号: 蚝油菜花 - OminiControl

OminiControl 是一个高度通用且参数高效的图像生成框架,专为扩散变换器模型如 FLUX.1 设计,能够实现对图像生成过程的精细控制。OminiControl 支持主题驱动控制和空间控制,例如边缘引导和绘画生成,仅需在基础模型中增加 0.1% 的参数。

OminiControl 能够将提供的素材主体无缝融入新生成的图片中,同时保持图像的高质量和主题的一致性。OminiControl 提供一个超过 20 万张图像的 Subjects200K 数据集,支持主题一致生成任务的研究。

OminiControl 的主要功能

  • 主题驱动控制:根据用户提供的主体图像和文本提示生成新的图像,保留主体特征的同时按照文本描述修改背景或场景。
  • 空间对齐控制:支持如边缘引导、绘画生成等需要精确空间对应的图像生成任务。
  • 多模态注意力交互:将条件图像、噪声图像和文本条件标记统一处理,实现直接的多模态注意力交互,提高信息交换和控制信号传播的效率。
  • 参数效率:与其他方法相比,OminiControl 引入极小比例的额外参数(0.1%),实现高效的图像条件控制。
  • 灵活性和统一性:提供一个统一的架构处理空间对齐和非空间对齐的控制任务,增加系统的灵活性。

OminiControl 的技术原理

  • 参数重用机制:利用模型已有的 VAE 编码器处理条件图像,将其编码为与噪声图像标记相同的潜在空间中的标记。
  • 统一序列设计:将噪声图像标记、文本标记和条件图像标记合并为一个统一序列,让条件图像直接参与多模态注意力机制。
  • 自适应位置嵌入:为条件图像标记分配位置索引,确保与噪声图像标记有效交互,对于空间对齐任务和非空间对齐任务都至关重要。
  • 条件强度因子:引入偏置项调整注意力权重,支持在推理期间手动调整条件图像的影响力度。
  • 多模态注意力操作:在 DiT 的每个 Transformer 块中,基于注意力机制实现图像和文本条件标记之间的交互。

如何运行 OminiControl

环境设置(可选)

  1. 环境设置
    conda create -n omini python=3.10
    conda activate omini
    
  2. 安装依赖
    pip install -r requirements.txt
    

使用示例

  1. 主题驱动生成examples/subject.ipynb
  2. 图像修复examples/inpainting.ipynb
  3. 空间对齐任务examples/spatial.ipynb

Gradio 应用

运行 Gradio 应用进行主题驱动生成:

python -m src.gradio.gradio_app

主题驱动生成的指南

  1. 输入图像会自动居中裁剪并调整大小为 512x512 分辨率。
  2. 编写提示时,使用 this itemthe objectit 等短语来指代主体。例如:
    • A close up view of this item. It is placed on a wooden table.
    • A young lady is wearing this shirt.
  3. 模型目前主要适用于物体而非人类主体,因为训练数据中缺乏人类数据。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
6天前
|
人工智能 数据库 决策智能
Archon – 开源 AI 智能体框架,自主生成代码构建 AI 智能体
Archon 是一个开源的 AI 智能体框架,能够自主生成代码并优化智能体性能,支持多智能体协作、领域知识集成和文档爬取等功能,适用于企业、教育、智能家居等多个领域。
81 10
Archon – 开源 AI 智能体框架,自主生成代码构建 AI 智能体
|
6天前
|
人工智能 机器人 物联网
SpatialVLA:上海AI Lab联合上科大推出的空间具身通用操作模型
SpatialVLA 是由上海 AI Lab、中国电信人工智能研究院和上海科技大学等机构共同推出的新型空间具身通用操作模型,基于百万真实数据预训练,赋予机器人强大的3D空间理解能力,支持跨平台泛化控制。
44 7
SpatialVLA:上海AI Lab联合上科大推出的空间具身通用操作模型
|
10天前
|
存储 人工智能 监控
Mahilo:多智能体实时协作框架开源!人类与AI无缝交互,复杂任务一键协同
Mahilo 是一个灵活的多智能体框架,支持创建与人类互动的多智能体系统,适用于从客户服务到紧急响应等多种场景。
65 2
Mahilo:多智能体实时协作框架开源!人类与AI无缝交互,复杂任务一键协同
|
7天前
|
机器学习/深度学习 人工智能 算法
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
PRefLexOR 是 MIT 团队推出的新型自学习 AI 框架,结合偏好优化和强化学习,通过递归推理和多步反思,动态生成知识图谱,支持跨领域推理和自主学习。
83 3
PRefLexOR:MIT自进化AI框架上线!动态知识图谱+跨域推理,重塑自主思考
|
17天前
|
人工智能 JSON PyTorch
TPO:告别微调!这个AI框架让大模型实时进化:无需训练直接优化,输入问题越用越聪明,输出质量暴涨50%
TPO(Test-Time Prompt Optimization)框架,通过奖励模型和迭代反馈优化大语言模型输出,无需训练即可显著提升性能,支持动态对齐人类偏好,降低优化成本。
175 8
TPO:告别微调!这个AI框架让大模型实时进化:无需训练直接优化,输入问题越用越聪明,输出质量暴涨50%
|
25天前
|
人工智能 NoSQL Redis
Collaborative Gym:斯坦福人机协作框架开源!异步交互+三方感知,让你的AI学会主动补位
介绍Collaborative Gym,一个专注于人机协作的框架,支持异步交互和多种任务环境。
67 14
Collaborative Gym:斯坦福人机协作框架开源!异步交互+三方感知,让你的AI学会主动补位
|
14天前
|
人工智能 自然语言处理 搜索推荐
PhotoDoodle:设计师必备!AI一键生成装饰元素,30+样本复刻风格+无缝融合的开源艺术编辑框架
PhotoDoodle 是由字节跳动、新加坡国立大学等联合推出的艺术化图像编辑框架,能够通过少量样本学习艺术家的独特风格,实现照片涂鸦和装饰性元素生成。
42 1
PhotoDoodle:设计师必备!AI一键生成装饰元素,30+样本复刻风格+无缝融合的开源艺术编辑框架
|
18天前
|
人工智能 监控 自动驾驶
Migician:清北华科联手放大招!多图像定位大模型问世:3秒锁定跨画面目标,安防监控迎来AI革命!
Migician 是北交大联合清华、华中科大推出的多模态视觉定位模型,支持自由形式的跨图像精确定位、灵活输入形式和多种复杂任务。
71 3
Migician:清北华科联手放大招!多图像定位大模型问世:3秒锁定跨画面目标,安防监控迎来AI革命!
|
17天前
|
人工智能 数据可视化
文本、图像、点云任意模态输入,AI能够一键生成高质量CAD模型了
《CAD-MLLM: Unifying Multimodality-Conditioned CAD Generation With MLLM》提出了一种新型系统CAD-MLLM,能够根据文本、图像、点云或其组合生成高质量的CAD模型。该系统基于大型语言模型(LLM),通过多模态数据对齐和渐进式训练策略,实现了高效的CAD模型生成。作者创建了首个包含文本、图像、点云和命令序列的多模态数据集Omni-CAD,包含约450K个实例。实验表明,CAD-MLLM在多个任务上表现出色,特别是在点云条件生成任务中显著优于现有方法。未来工作将聚焦于提升计算效率、增加数据多样性及探索新模态。
167 18
|
15天前
|
存储 人工智能 开发框架
Spring AI Alibaba 应用框架挑战赛圆满落幕,恭喜获奖选手
第二届开放原子大赛 Spring AI Alibaba 应用框架挑战赛决赛于 2 月 23 日在北京圆满落幕。

热门文章

最新文章