最近，一篇论文在AI领域引起了广泛关注，该论文展示了如何在极低成本下训练出高质量的文生图（T2I）扩散模型。论文的重点是解决生成式AI模型在性能扩展过程中的资源集中问题，特别是对于那些拥有大量计算资源的参与者。
论文中，研究人员提出了一种创新的方法，可以在极低的预算下训练大规模的T2I扩散模型。他们通过在训练过程中随机遮蔽图像中高达75%的patch，从而显著降低了计算成本。具体而言，他们提出了一种延迟遮蔽策略，在遮蔽之前使用patch-mixer对所有patch进行预处理，这大大减少了遮蔽对性能的负面影响，使其在降低计算成本方面比模型缩放更为有效。
此外，研究人员还结合了最新的Transformer架构改进，如使用Mixture-of-Experts（MoE）层，以进一步提高性能。他们还强调了在微预算训练中使用合成图像的重要作用。
通过使用仅3700万张公开可用的真实和合成图像，研究人员训练了一个拥有11.6亿参数的稀疏Transformer，总经济成本仅为1890美元。令人印象深刻的是，他们的模型在COCO数据集上的零样本生成中取得了12.7的FID分数，这表明其生成的质量非常高。
与Stable Diffusion等其他模型相比，该模型的成本要低得多。事实上，它的成本比Stable Diffusion低了118倍，比目前最先进的方法低了14倍，后者的成本为28400美元。
这一成果对于那些资源有限的研究人员和开发者来说是一个重大突破，因为它提供了一种更经济高效的方式来训练高质量的生成式AI模型。论文的作者还计划发布他们的端到端训练管道，以进一步推动微预算下大型扩散模型的训练普及化。
然而，尽管这一成果具有巨大的潜力，但也存在一些潜在的挑战和限制。首先，尽管该模型在COCO数据集上取得了良好的结果，但在其他数据集或任务上的表现如何还有待验证。其次，虽然该方法在降低计算成本方面非常有效，但对于某些应用或数据集来说，性能的降低可能是不可接受的。
此外，尽管该模型的成本相对较低，但对于一些研究人员或开发者来说，1890美元仍然是一个不小的开支。因此，在实际应用中，可能需要进一步探索更低成本的训练方法或资源优化策略。
