扩散模型作为一类基于扩散过程的生成模型，在生成AI领域取得了显著的成果。然而，其训练过程中的不稳定性以及采样速度的缓慢，一直是限制其发展的重要因素。为了解决这些问题，OpenAI的研究人员与清华校友路橙、宋飏合作，提出了一种简化、稳定和可扩展的连续时间一致性模型（CMs），并在最新论文中进行了详细阐述。
该论文的主要贡献在于，提出了一种简化的理论基础，统一了先前的扩散模型和CMs的参数化方法，并识别出了导致训练不稳定性的根本原因。基于这一分析，研究人员引入了扩散过程参数化、网络架构和训练目标的关键改进。
研究人员提出了一种名为TrigFlow的新型扩散模型公式，该公式结合了EDM（Karras等人，2022；2024）和Flow Matching（Peluchetti，2022；Lipman等人，2022；Liu等人，2022；Albergo等人，2023；Heitz等人，2023）的优点，并大大简化了扩散模型和CMs的公式化。
在TrigFlow的基础上，研究人员对CMs的训练进行了全面的分析，并提出了一种完整的解决方案来解决训练不稳定性的问题。这些改进包括：
-改进的时间条件和自适应组归一化：在网络架构中引入了这些技术，以确保模型在训练过程中的稳定性。
-重新表述训练目标：研究人员对连续时间CMs的训练目标进行了重新表述，并引入了自适应权重和归一化，以及渐进退火，以实现稳定和可扩展的训练。
研究人员在CIFAR-10、ImageNet 64×64和ImageNet 512×512等多个数据集上进行了实验，并取得了显著的成果。他们训练的CMs模型在2个采样步骤内，实现了与之前最佳生成模型相当的样本质量，同时使用的计算量不到之前模型的10%。
具体来说，他们训练的CMs模型在CIFAR-10上的FID得分为2.06，在ImageNet 64×64上的FID得分为1.48，在ImageNet 512×512上的FID得分为1.88。这些结果显示，CMs模型在样本质量方面已经接近或超过了之前的最佳模型，同时使用的计算量大大减少。
优势
1.简化的理论基础：TrigFlow公式的提出，使得扩散模型和CMs的公式化更加简单，有助于理论分析和模型理解。
2.训练稳定性的提高：通过改进的时间条件、自适应组归一化和重新表述训练目标，研究人员显著提高了CMs模型的训练稳定性。
3.可扩展性：CMs模型在多个数据集上都表现出了良好的可扩展性，可以扩展到1.5亿参数的规模，这是目前为止最大的CMs模型。
4.计算效率的提高：CMs模型在保持高样本质量的同时，使用的计算量大大减少，这对于实际应用具有重要意义。
局限性
1.理论复杂性：尽管TrigFlow公式简化了扩散模型和CMs的公式化，但理论分析仍然具有一定的复杂性，可能需要进一步的研究来深入理解。
2.模型规模的限制：尽管CMs模型可以扩展到1.5亿参数的规模，但对于更大规模的数据集或更复杂的任务，可能需要进一步的研究来探索其可扩展性。
3.与其他模型的比较：尽管CMs模型在样本质量和计算效率方面表现出色，但与其他模型（如VSD）的比较可能需要进一步的研究来全面评估其优势和局限性。
