❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

1. 生成模式：支持变体生成、图像到图像转换、智能修复、ControlNet 引导生成等多种模式。
2. 多模态理解：结合 Qwen2VL 模型，实现图像和文本的深度融合，提供高级文本到图像能力。
3. 技术集成：集成 ControlNet，进行深度估计和线条检测，为图像生成提供结构上的精确控制。

正文（附运行示例）

Qwen2VL-Flux 是什么

Qwen2VL-Flux 是一个多模态图像生成模型，结合了 Qwen2VL 的视觉语言理解和 FLUX 框架，能够基于文本提示和图像参考生成高质量的图像。该模型支持多种生成模式，包括变体生成、图像到图像转换、智能修复及 ControlNet 引导生成，具备深度估计和线条检测功能，实现更精确的图像控制。

Qwen2VL-Flux 提供灵活的注意力机制和高分辨率输出，是一站式的图像生成解决方案。

Qwen2VL-Flux 的主要功能

• 支持多种生成模式：包括变体生成、图像到图像转换、智能图像修复、ControlNet 引导生成等。
• 多模态理解：包括高级文本到图像能力、图像到图像转换、视觉参考理解。
• ControlNet 集成：包括线条检测指导、深度感知生成、可调节控制强度。
• 高级功能：包含注意力机制、可定制宽高比、批量图像生成、Turbo 模式以加快推理速度。

Qwen2VL-Flux 的技术原理

• 模型架构：Qwen2VL-Flux 将 Qwen2VL 视觉-语言模型与 FLUX 架构结合，替换传统的文本编码器，实现更优的多模态理解和生成能力。
• 视觉-语言理解：用 Qwen2VL 模型，理解图像内容和相关联的文本提示，实现图像和文本的深度融合。
• ControlNet 集成：集成 ControlNet，进行深度估计和线条检测，为图像生成提供结构上的精确控制。
• 灵活的生成管道：支持多种生成模式，根据不同的任务需求灵活切换，适应不同的图像生成场景。
• 注意力机制：引入注意力机制，模型能集中处理图像的特定区域，提高生成的准确性和细节表现。
• 高性能优化：模型实现了智能加载，只加载特定任务所需的组件，提供 Turbo 模式优化性能和加快推理速度。

如何运行 Qwen2VL-Flux

环境配置

1. 克隆仓库：

   git clone https://github.com/erwold/qwen2vl-flux.git
   cd qwen2vl-flux
   

2. 创建虚拟环境（推荐）：

   python -m venv venv
   source venv/bin/activate  # Linux/Mac
   # 或
   venv\Scripts\activate  # Windows
   

3. 安装依赖：

   pip install -r requirements.txt
   

4. 下载模型检查点：

• 从 Hugging Face 下载 Qwen2VL-Flux 模型文件。
• 将文件放置在 checkpoints 目录下，结构如下：

  checkpoints/
  ├── flux/              # 主 Flux 模型文件
  ├── qwen2-vl/          # Qwen2VL 模型文件
  

1. 配置模型路径：
   修改 model.py 中的路径以匹配你的设置：

   FLUX_MODEL_PATH = "/checkpoints/flux"
   CONTROLNET_MODEL_PATH = "/checkpoints/controlnet"
   QWEN2VL_MODEL_PATH = "/checkpoints/qwen2-vl"
   DEPTHANYTHING_MODEL_PATH = "/checkpoints/depth-anything-v2"
   MISTOLINE_MODEL_PATH = "/checkpoints/anyline"
   SAM2_MODEL_PATH = "/checkpoints/segment-anything-v2"
   

使用示例

1. 基本图像变体生成：

   python main.py --mode variation \
               --input_image path/to/image.jpg \
               --prompt "A beautiful landscape" \
               --image_count 4
   

2. 图像到图像转换：

   python main.py --mode img2img \
               --input_image source.jpg \
               --reference_image target.jpg \
               --prompt "xxxxxxxxxxxx" \
               --denoise_strength 0.75
   

3. 带掩码的图像修复：

   python main.py --mode inpaint \
               --input_image image.jpg \
               --mask_image mask.png \
               --prompt "Fill with beautiful flowers"
   

4. ControlNet 引导生成：

   python main.py --mode controlnet \
               --input_image image.jpg \
               --line_mode \
               --depth_mode \
               --line_strength 0.4 \
               --depth_strength 0.2 \
               --prompt "xxxxxxxxxxxxxxxxxxxxx"
   

资源

• 项目官网：https://github.com/erwold/qwen2vl-flux
• GitHub 仓库：https://github.com/erwold/qwen2vl-flux
• HuggingFace 模型库：https://huggingface.co/Djrango/Qwen2vl-Flux
• 在线体验 Demo：https://huggingface.co/spaces/Djrango/qwen2vl-flux-mini-demo

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦