01.前言

编辑

近期，字节跳动Seed推出了 BAGEL—— 一个开源的多模态理解和生成础模型，具有70亿个激活参数（总共140亿个），并在大规模交错多模态数据上进行训练。BAGEL 在标准多模态理解排行榜上超越了当前顶级的开源VLMs，如Qwen2.5-VL和InternVL-2.5，并且提供了与强大的专业生成器如SD3竞争的文本到图像质量。

此外，BAGEL 在经典的图像编辑场景中展示了比领先的开源模型更好的定性结果。更重要的是，它扩展到了自由形式的视觉操作、多视图合成和世界导航，这些能力构成了超出以往图像编辑模型范围的“世界建模”任务。

编辑

Github：

https://github.com/bytedance-seed/BAGEL

模型：

https://www.modelscope.cn/models/ByteDance-Seed/BAGEL-7B-MoT

论文：

https://arxiv.org/abs/2505.14683

02.方法

BAGEL 采用了一种混合变压器专家（MoT）架构，以最大化模型从丰富多样的多模态信息中学习的能力。遵循同样的容量最大化原则，它利用两个独立的编码器来捕捉图像的像素级和语义级特征。整个框架遵循下一个令牌组预测范式，其中模型被训练为将下一组语言或视觉令牌作为压缩目标进行预测。

BAGEL 通过在数万亿交织的多模态令牌上进行预训练、继续训练和监督微调，扩展了 MoT 的能力，这些令牌涵盖了语言、图像、视频和网络数据。它在标准的理解和生成基准测试中超越了开放模型，并展示了先进的上下文多模态能力，如自由形式的图像编辑、未来帧预测、3D 操作、世界导航和序列推理。

编辑

03.涌现特性

编辑

随着研究团队在BAGEL预训练中引入更多多模态标记，观察到模型在理解、生成和编辑任务上呈现持续性能提升。不同能力在不同训练阶段涌现：多模态理解与生成能力早期显现，基础编辑能力随后出现，而复杂的智能编辑能力则后期形成。这种阶段性进展表明存在涌现模式——高级多模态推理能力建立在完善的基础技能之上。

消融研究表明，结合 VAE 和 ViT 特征显著提高了智能编辑，强调了视觉-语义上下文在实现复杂多模态推理中的重要性，并进一步支持其在高级能力出现中的作用。

04.基准测试

1. 视觉理解

2. 文本到图像生成 · GenEval

3. 图像编辑

05.模型使用

1. 下载代码仓库，并安装依赖

git clone https://github.com/bytedance-seed/BAGEL.git
cd BAGEL
pip install -r requirements.txt

2. 下载模型

modelscope download ByteDance-Seed/BAGEL-7B-MoT --local_dir ./models/BAGEL-7B-MoT/

3. 开启WebUI

pip install gradio
python app.py

显存占用：

编辑

点击阅读原文，即可跳转模型~

https://modelscope.cn/models/ByteDance-Seed/BAGEL-7B-MoT