在实验中，DPM-Solver 获得了远超其它采样算法的加速效果，仅仅在 15-20 步就几乎可以收敛：
并且在论文中定量的结果显示，DPM-Solver 引入的额外计算量完全可以忽略，即对于步数的加速效果直接正比于时间上的加速效果——因此，基于 25 步的 DPM-Solver，Stable-Diffusion 模型的采样速度直接翻倍！例如，下图展示了不同采样算法在 Stable-Diffusion 上随着步数变化的效果，可见 DPM-Solver 在 10 到 15 步就可以获得非常高质量的采样：
使用 DPM-Solver
DPM-Solver 的使用非常简单，既可以基于作者提供的官方代码，也可以使用主流的 Diffusers 库。例如，基于作者提供的官方代码（https://github.com/LuChengTHU/dpm-solver），只需要 3 行：
官方代码对 4 种扩散模型都进行了支持：
并且同时支持 unconditional sampling、classifier guidance 和 classifier-free guidance：
而基于 Diffusers 库的 DPM-Solver 同样很简单，只需要定义 scheduler 即可：
此外，作者团队还提供了一个在线 Demo：https://huggingface.co/spaces/LuChengTHU/dpmsolver_sdm
下图是 15 步的例子，可以看到图像质量已经非常高：
相信基于 DPM-Solver，扩散模型的采样速度将不再是瓶颈。
关于作者
DPM-Solver 论文一作是来自清华大学 TSAIL 团队的路橙博士，他在知乎上关于扩散模型的讨论中也写了一篇关于扩散模型原理的入门介绍，目前已有 2000 + 赞：https://www.zhihu.com/question/536012286/answer/2533146567
清华大学 TSAIL 团队长期致力于贝叶斯机器学习的理论和算法研究，是国际上最早研究深度概率生成模型的团队之一，在贝叶斯模型、高效算法和概率编程库方面取得了系统深入的研究成果。团队另一位博士生鲍凡提出Analytic-DPM [8][9]，为扩散模型的最优均值和方差给出了简单、令人吃惊的解析形式，获得 ICLR 2022 Outstanding Paper Award。在概率编程方面，机器之心早在 2017 年就报道了该团队发布的 “ZhuSuan” 深度概率编程库（https://zhusuan.readthedocs.io/en/latest/）[10]，是国际上最早的面向深度概率模型的编程库之一。另外，值得一提的是，扩散概率模型的两位核心作者宋飏和宋佳铭，本科时均在朱军教授的指导下做科研训练，后来都去了斯坦福大学读博士。论文的合作者周聿浩、陈键飞、李崇轩，也是TSAIL组培养的优秀博士生，周聿浩为在读，陈键飞和李崇轩分别在清华大学计算机系、人民大学高瓴人工智能学院任教。
参考资料：
[1] OneFlow 版本的 Stable-Diffusion：https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion
[2] Luping Liu et al., 2022, Pseudo Numerical Methods for Diffusion Models on Manifolds, https://arxiv.org/abs/2202.09778
[3] Stable-Diffusion 的官方 Demo：https://huggingface.co/spaces/runwayml/stable-diffusion-v1-5
[4] Yang Song et al., 2021, Score-Based Generative Modeling through Stochastic Differential Equations, https://arxiv.org/abs/2011.13456
[5] Jonathan Ho et al., 2020, Denoising Diffusion Probabilistic Models, https://arxiv.org/abs/2006.11239
[6] Tim Salimans & Jonathan Ho, 2022, Progressive Distillation for Fast Sampling of Diffusion Models, https://arxiv.org/abs/2202.00512
[7] Jiaming Song et al., 2020, Denoising Diffusion Implicit Models, https://arxiv.org/abs/2010.02502
[8] Fan Bao, et al., Analytic-DPM: an Analytic Estimate of the Optimal Reverse Variance in Diffusion Probabilistic Models, https://arxiv.org/abs/2201.06503[9] Fan Bao, et al. Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models, https://arxiv.org/abs/2206.07309v1[10] https://www.jiqizhixin.com/articles/2017-09-20-7
