❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
原文链接：https://mp.weixin.qq.com/s/j8b8rTEp9IV9XiCfQooThw
🚀 快速阅读
- 功能：Infinity 能够根据文本描述生成高分辨率、逼真的图像。
- 技术：采用位级自回归建模和无限词汇量标记器，提升图像生成质量。
- 性能：生成 1024×1024 的高质量图像仅需 0.8 秒，比 SD3-Medium 快 2.6 倍。
正文（附运行示例）
Infinity 是什么
Infinity 是字节跳动推出的基于位级自回归建模的视觉生成模型，能够根据语言指令生成高分辨率、逼真的图像。该模型通过无限词汇量的标记器、分类器和位自纠正机制，显著提升了图像生成的细节和质量。
Infinity 在生成 1024×1024 的高质量图像时，仅需 0.8 秒，比 SD3-Medium 快 2.6 倍，且具有更快的推理速度。它为自回归文本到图像生成模型设定了新的性能标准。
Infinity 的主要功能
- 文本到图像合成：用户输入文本描述，系统将生成相应的图像内容。
- 空间推理：在生成图像时考虑空间关系，确保图像的空间布局合理。
- 文本渲染：在图像中渲染文本，根据用户的指令调整字体、样式、颜色等。
- 多风格和长宽比适应：生成不同风格和长宽比的图像，适应多样化的视觉效果需求。
Infinity 的技术原理
- 位视觉自回归建模：基于位级别的预测框架重新定义视觉自回归模型，用无限词汇量的标记器和分类器。
- 无限词汇量标记器：将标记器的词汇量扩展到无穷大，减少量化误差，提高细节重建能力。
- 位自纠正机制：在训练过程中随机翻转某些位模拟预测错误，并重新量化残差特征，让系统具备自我纠正的能力。
- 变换器（Transformer）扩展：扩展变换器的大小增强模型的生成能力。
- 量化连续特征：将连续的特征量化为索引标签，通过位标签（量化特征）提供稳定的监督信号。
如何运行 Infinity
Infinity 提供了多种运行方式，包括通过 HuggingFace 模型库和 GitHub 仓库进行本地部署。以下是一个简单的运行示例：
from transformers import AutoModelForCausalLM, AutoTokenizer
# 加载模型和分词器
model = AutoModelForCausalLM.from_pretrained("FoundationVision/Infinity")
tokenizer = AutoTokenizer.from_pretrained("FoundationVision/Infinity")
# 输入文本描述
prompt = "A beautiful sunset over the mountains"
# 生成图像
output = model.generate(tokenizer(prompt, return_tensors="pt").input_ids)
# 保存生成的图像
output.save("generated_image.png")
资源
- 项目官网：https://foundationvision.github.io/infinity
- GitHub 仓库：https://github.com/FoundationVision/Infinity
- HuggingFace 模型库：https://huggingface.co/FoundationVision/Infinity
- arXiv 技术论文：https://arxiv.org/pdf/2412.04431
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
