OminiControl:AI图像生成框架,实现图像主题控制和空间精确控制

本文涉及的产品
视觉智能开放平台,视频资源包5000点
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
简介: OminiControl 是一个高度通用且参数高效的 AI 图像生成框架,专为扩散变换器模型设计,能够实现图像主题控制和空间精确控制。该框架通过引入极少量的额外参数(0.1%),支持主题驱动控制和空间对齐控制,适用于多种图像生成任务。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:OminiControl 支持主题驱动控制和空间对齐控制,适用于多种图像生成任务。
  2. 技术:通过参数重用机制和统一序列设计,实现高效的多模态注意力交互。
  3. 应用:适用于艺术创作、游戏开发、电影制作、广告营销等多个领域。

正文(附运行示例)

OminiControl 是什么

公众号: 蚝油菜花 - OminiControl

OminiControl 是一个高度通用且参数高效的图像生成框架,专为扩散变换器模型如 FLUX.1 设计,能够实现对图像生成过程的精细控制。OminiControl 支持主题驱动控制和空间控制,例如边缘引导和绘画生成,仅需在基础模型中增加 0.1% 的参数。

OminiControl 能够将提供的素材主体无缝融入新生成的图片中,同时保持图像的高质量和主题的一致性。OminiControl 提供一个超过 20 万张图像的 Subjects200K 数据集,支持主题一致生成任务的研究。

OminiControl 的主要功能

  • 主题驱动控制:根据用户提供的主体图像和文本提示生成新的图像,保留主体特征的同时按照文本描述修改背景或场景。
  • 空间对齐控制:支持如边缘引导、绘画生成等需要精确空间对应的图像生成任务。
  • 多模态注意力交互:将条件图像、噪声图像和文本条件标记统一处理,实现直接的多模态注意力交互,提高信息交换和控制信号传播的效率。
  • 参数效率:与其他方法相比,OminiControl 引入极小比例的额外参数(0.1%),实现高效的图像条件控制。
  • 灵活性和统一性:提供一个统一的架构处理空间对齐和非空间对齐的控制任务,增加系统的灵活性。

OminiControl 的技术原理

  • 参数重用机制:利用模型已有的 VAE 编码器处理条件图像,将其编码为与噪声图像标记相同的潜在空间中的标记。
  • 统一序列设计:将噪声图像标记、文本标记和条件图像标记合并为一个统一序列,让条件图像直接参与多模态注意力机制。
  • 自适应位置嵌入:为条件图像标记分配位置索引,确保与噪声图像标记有效交互,对于空间对齐任务和非空间对齐任务都至关重要。
  • 条件强度因子:引入偏置项调整注意力权重,支持在推理期间手动调整条件图像的影响力度。
  • 多模态注意力操作:在 DiT 的每个 Transformer 块中,基于注意力机制实现图像和文本条件标记之间的交互。

如何运行 OminiControl

环境设置(可选)

  1. 环境设置
    conda create -n omini python=3.10
    conda activate omini
    
  2. 安装依赖
    pip install -r requirements.txt
    

使用示例

  1. 主题驱动生成examples/subject.ipynb
  2. 图像修复examples/inpainting.ipynb
  3. 空间对齐任务examples/spatial.ipynb

Gradio 应用

运行 Gradio 应用进行主题驱动生成:

python -m src.gradio.gradio_app

主题驱动生成的指南

  1. 输入图像会自动居中裁剪并调整大小为 512x512 分辨率。
  2. 编写提示时,使用 this itemthe objectit 等短语来指代主体。例如:
    • A close up view of this item. It is placed on a wooden table.
    • A young lady is wearing this shirt.
  3. 模型目前主要适用于物体而非人类主体,因为训练数据中缺乏人类数据。

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日跟你分享最新的 AI 资讯和开源应用,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
6天前
|
人工智能 JSON PyTorch
TPO:告别微调!这个AI框架让大模型实时进化:无需训练直接优化,输入问题越用越聪明,输出质量暴涨50%
TPO(Test-Time Prompt Optimization)框架,通过奖励模型和迭代反馈优化大语言模型输出,无需训练即可显著提升性能,支持动态对齐人类偏好,降低优化成本。
137 8
TPO:告别微调!这个AI框架让大模型实时进化:无需训练直接优化,输入问题越用越聪明,输出质量暴涨50%
|
14天前
|
人工智能 NoSQL Redis
Collaborative Gym:斯坦福人机协作框架开源!异步交互+三方感知,让你的AI学会主动补位
介绍Collaborative Gym,一个专注于人机协作的框架,支持异步交互和多种任务环境。
62 14
Collaborative Gym:斯坦福人机协作框架开源!异步交互+三方感知,让你的AI学会主动补位
|
3天前
|
人工智能 自然语言处理 搜索推荐
PhotoDoodle:设计师必备!AI一键生成装饰元素,30+样本复刻风格+无缝融合的开源艺术编辑框架
PhotoDoodle 是由字节跳动、新加坡国立大学等联合推出的艺术化图像编辑框架,能够通过少量样本学习艺术家的独特风格,实现照片涂鸦和装饰性元素生成。
19 1
PhotoDoodle:设计师必备!AI一键生成装饰元素,30+样本复刻风格+无缝融合的开源艺术编辑框架
|
7天前
|
人工智能 监控 自动驾驶
Migician:清北华科联手放大招!多图像定位大模型问世:3秒锁定跨画面目标,安防监控迎来AI革命!
Migician 是北交大联合清华、华中科大推出的多模态视觉定位模型,支持自由形式的跨图像精确定位、灵活输入形式和多种复杂任务。
59 3
Migician:清北华科联手放大招!多图像定位大模型问世:3秒锁定跨画面目标,安防监控迎来AI革命!
|
6天前
|
人工智能 数据可视化
文本、图像、点云任意模态输入,AI能够一键生成高质量CAD模型了
《CAD-MLLM: Unifying Multimodality-Conditioned CAD Generation With MLLM》提出了一种新型系统CAD-MLLM,能够根据文本、图像、点云或其组合生成高质量的CAD模型。该系统基于大型语言模型(LLM),通过多模态数据对齐和渐进式训练策略,实现了高效的CAD模型生成。作者创建了首个包含文本、图像、点云和命令序列的多模态数据集Omni-CAD,包含约450K个实例。实验表明,CAD-MLLM在多个任务上表现出色,特别是在点云条件生成任务中显著优于现有方法。未来工作将聚焦于提升计算效率、增加数据多样性及探索新模态。
81 18
|
19天前
|
人工智能 开发框架 数据可视化
Eino:字节跳动开源基于Golang的AI应用开发框架,组件化设计助力构建AI应用
Eino 是字节跳动开源的大模型应用开发框架,帮助开发者高效构建基于大模型的 AI 应用。支持组件化设计、流式处理和可视化开发工具。
193 27
|
15天前
|
人工智能 自然语言处理 架构师
Praison AI:LangChain危险了!这个低代码框架让AI智能体「自主协作」,1行代码搞定任务编排
Praison AI 是一个开源的多智能体框架,支持低代码创建和管理AI代理,提供多种流程类型和集成选项,适用于企业流程自动化、智能客服等场景。
115 18
|
3天前
|
存储 人工智能 开发框架
Spring AI Alibaba 应用框架挑战赛圆满落幕,恭喜获奖选手
第二届开放原子大赛 Spring AI Alibaba 应用框架挑战赛决赛于 2 月 23 日在北京圆满落幕。
|
4天前
|
人工智能 自然语言处理 并行计算
MeteoRA:多任务AI框架革新!动态切换+MoE架构,推理效率提升200%
MeteoRA 是南京大学推出的多任务嵌入框架,基于 LoRA 和 MoE 架构,支持动态任务切换与高效推理。
34 3
|
16天前
|
人工智能 编解码 vr&ar
Lumina-Video:上海 AI Lab 开源视频生成框架,动态程度可控,支持多分辨率
Lumina-Video 是由上海 AI Lab 和香港中文大学联合推出的高效视频生成框架,支持高质量视频生成、动态程度控制和多分辨率生成。
120 4

热门文章

最新文章