在数字图像处理和人工智能领域，生成高质量、高分辨率的图像一直是研究者们追求的目标。随着技术的进步，我们见证了各种模型和算法的诞生，它们在图像生成方面取得了显著的成就。然而，大多数现有的模型在处理不同分辨率的图像时仍然存在局限性。为了突破这一瓶颈，研究者们开发了一种名为Flexible Vision Transformer（FiT）的新型架构，它能够生成任意分辨率和宽高比的图像，为图像生成领域带来了革命性的变革。
FiT的核心思想是将图像视为一系列动态大小的令牌，而不是传统的固定分辨率网格。这种创新的方法使得FiT能够在训练和推理阶段灵活适应不同的图像尺寸，从而实现分辨率的泛化。这种方法不仅提高了图像生成的质量，还避免了因图像裁剪而导致的信息丢失。
在网络架构方面，FiT采用了2D Rotary Positional Embedding（RoPE）和Swish-Gated Linear Unit（SwiGLU），这些技术在大型语言模型中已经显示出其有效性。通过这些改进，FiT能够有效地管理填充令牌，从而在保持模型性能的同时，提高了对不同分辨率图像的适应能力。
在推理过程中，FiT采用了训练无关的分辨率外推技术，这些技术在大型语言模型中用于生成任意长度的文本。FiT对这些技术进行了定制，以适应2D RoPE，从而在多种分辨率和宽高比上提升了性能。这种灵活性使得FiT在处理不同分辨率的图像时表现出色，无论是在训练分布内的分辨率，还是超出训练分布的分辨率。
实验结果表明，FiT在多种分辨率下的性能均优于现有的CNN和变换器模型。在ImageNet-256数据集上训练的FiT-XL/2模型，在160×320、128×384、320×320、224×448和160×480等分辨率下，都取得了显著的成果。这些成果不仅证明了FiT在理论上的创新性，也展示了其在实际应用中的潜力。
FiT的开源为研究者和开发者提供了一个强大的工具，它不仅能够生成更多样化、更高质量的图像，还能够在处理不同分辨率和宽高比的图像时展现出强大的灵活性和泛化能力。
