本文将详细解读NeurIPS 2024最佳论文："Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction（视觉自回归建模：基于下一尺度预测的可扩展图像生成）"。
该论文提出了视觉自回归建模（Visual Autoregressive Modeling，VAR）方法，在图像生成领域实现了重要突破。VAR通过精确捕捉图像结构特征，实现了高效率、高质量的图像生成。该方法对当前以扩散模型为主导的图像生成领域提出了新的技术方向，为自回归模型开辟了新的发展空间。本文将从技术原理、实现方法、应用场景及局限性等方面进行详细分析。
图像生成的两大技术路线：扩散模型与自回归模型
图像生成技术主要包含两个主要分支。第一个分支是扩散模型（Diffusion Models），其核心原理是通过逐步添加噪声并随后反向去噪来生成图像。近年来扩散模型在图像生成领域取得了显著进展，并成为主流技术方案。
第二个分支是自回归模型（Autoregressive Models，AR Models）。这类模型采用逐步构建的方式生成图像，即基于已生成的部分预测图像的下一个组成部分。自回归模型是GPT等大型语言模型的核心技术，同时在图像生成领域也取得了重要进展。自回归模型通常基于卷积神经网络或Transformer架构实现。本文重点讨论的VAR模型即属于自回归模型家族。
传统自回归模型的技术局限
传统自回归模型将二维图像转换为一维token序列，并按照光栅扫描模式顺序预测这些token。这种方法存在以下技术局限：
- 二维结构信息损失： 图像token在水平和垂直方向上均存在关联性，但传统自回归模型的顺序生成机制难以有效建模这种二维依赖关系，影响了图像结构的完整性建模。
- 泛化能力受限： 顺序生成模式导致模型对生成顺序具有强依赖性。例如一个按照从上到下顺序训练的模型，在要求反向生成时性能会显著降低。
- 空间信息缺失： 将二维图像压缩为一维序列的过程中，相邻token之间的空间关系信息会丢失，这限制了模型对图像结构的理解和重建能力。
- 计算效率低下： 传统自回归模型的计算复杂度随图像token数量呈O(n⁶)增长，这种复杂度使得高分辨率图像的生成在计算资源方面面临严峻挑战。
VAR：基于下一尺度预测的技术创新
VAR模型通过引入"下一尺度预测"范式来解决传统自回归模型的技术局限。该方法将图像表示为多尺度token图，并采用从低分辨率到高分辨率的粗细层次结构进行自回归生成。
- 多尺度VQVAE架构： VAR首先采用向量量化变分自编码器（Vector Quantized Variational Autoencoder，VQVAE）将图像编码为多尺度token图。VQVAE能够将图像的高维特征向量量化为离散码向量。系统在不同分辨率层次提取的特征图通过码本量化得到对应的token图表示。
- VAR Transformer结构： VAR Transformer模块基于已生成的低分辨率token图预测下一个更高分辨率的token图。系统支持每个分辨率层次的token图并行生成，显著提升了计算效率。训练过程中采用块状因果掩码确保token图的生成仅依赖于较低分辨率的信息。
VAR系统工作机制
- 多尺度VQVAE编码环节：输入图像经由多尺度VQVAE编码器处理，生成多个分辨率层次的特征图，随后将各特征图量化为相应的token图表示。
- VAR Transformer生成过程：VAR Transformer从最低分辨率token图开始，逐步自回归地生成更高分辨率的token图序列。在每个生成步骤中，系统输入已有的全部token图及其位置编码信息。
- 多尺度VQVAE解码过程：生成的多尺度token图通过多尺度VQVAE解码器重建为最终图像。解码器利用token图的索引信息从码本中检索相应的码向量，并通过插值和卷积操作重建图像。
技术说明： 在公式1中，图像片段序列的生成概率被定义为各个片段条件概率的乘积，表示为P(x₁, x₂, …, xₜ) = ∏ P(xᵢ | x₁…xᵢ₋₁)。其中xᵢ表示单个图像片段，t代表片段总数。
VAR的技术优势
VAR系统在多个方面突破了传统自回归模型的局限：
- 数学建模优化： VAR通过粗细层次的生成机制有效解决了二维结构建模问题，通过整体token图的预测处理了复杂的依赖关系。
- 泛化性能提升： VAR系统通过学习图像的整体结构特征，在各类输入场景下表现稳定，包括零样本图像修复和扩展任务。
- 空间信息保持： VAR在处理token图的过程中保持二维图像结构完整，多尺度架构有效捕捉了空间层次关系。
- 计算效率提升： VAR通过分辨率内的并行token生成和递归尺度扩展，将计算复杂度降低至O(n⁴)，显著提升了系统效率。
- 图像质量改进： VAR在图像质量和推理速度方面均超越了现有的扩散Transformer模型。
VAR系统的训练与推理
VAR系统采用两阶段训练策略：
- 多尺度VQVAE训练阶段（第一阶段）： 使用原始图像数据训练多尺度VQVAE模型。训练目标是最小化重建图像与原始图像之间的误差，同时生成多分辨率token图。在训练过程中，系统同步优化码本以提升特征表示能力。
- VAR Transformer训练阶段（第二阶段）： 利用训练完成的VQVAE模型将图像转换为token图序列，随后训练VAR Transformer模型。VAR Transformer学习利用已有的低分辨率token图预测下一级token图，训练过程中采用因果掩码确保预测只依赖已知信息。
VAR系统的推理过程包含以下步骤：
- 多尺度VQVAE编码步骤： 利用训练好的VQVAE模型将输入图像编码为多尺度token图序列。
- VAR Transformer生成步骤： 从最低分辨率token图开始，VAR Transformer逐级生成更高分辨率的token图。
- 多尺度VQVAE解码步骤： 利用多尺度VQVAE解码器将生成的token图序列重建为最终输出图像。
实验验证与扩展性分析
论文通过系统实验验证了VAR模型的性能优势。在ImageNet数据集上的测试表明，VAR在图像生成质量和速度方面均优于现有扩散Transformer模型。实验结果同时展示了VAR性能随模型规模增长的良好扩展特性。
实验还证实了VAR系统在图像修复、扩展等零样本任务中的出色泛化能力，表明该模型不仅能够生成图像，还能深入理解图像结构特征。
技术局限与未来发展方向
VAR系统虽然实现了重要突破，但仍存在以下技术局限：
- 文本引导图像生成能力： 当前VAR系统尚未实现文本条件下的图像生成功能。未来研究需要着重扩展模型的多模态处理能力。
- 视频生成应用： VAR在视频生成领域的应用潜力有待探索。后续研究需要探索VAR框架在时序数据生成中的扩展应用。
- 模型复杂性： VAR采用的两阶段训练策略（VQVAE和Transformer）增加了系统复杂度，需要进一步研究简化训练流程和提升学习效率的方法。
总结
VAR系统在图像生成领域实现了方法论层面的重要创新，成功克服了传统自回归模型的多项技术局限。通过引入"下一尺度预测"范式，VAR不仅能够精确捕捉图像结构特征，还实现了高效率的高质量图像生成。VAR在可扩展性和零样本泛化能力方面的优势，预示着该技术将对图像生成领域产生深远影响。
论文地址：
https://avoid.overfit.cn/post/6b65bf03189949608b81a8543800521c
作者：Daniel Park
