变分推断（Variational Inference, VI）是一种在贝叶斯统计中用于近似复杂后验分布的技术。它通过优化一个简单分布（变分分布），使其尽可能接近真实的后验分布，从而克服了传统贝叶斯推断在大规模或复杂模型中的计算难题 。
变分推断的核心是变分原理，该原理将后验分布与变分分布之间的Kullback-Leibler (KL) 散度转化为一个优化问题。目标是最大化证据下界（Evidence Lower Bound, ELBO），从而找到最优的变分分布 。
变分推断的基本流程包括以下步骤：
- 选择一个变分族，如高斯分布或指数族分布，这些分布应具有易于优化的特性。
- 构建ELBO函数，包含观测数据对数似然的期望和变分分布与先验分布之间的KL散度。
- 使用梯度上升或其他优化算法最大化ELBO，更新变分参数。
- 最终，最优变分分布被视为真实后验分布的近似，用于后续的推断和决策 。
贝叶斯方法是一种基于贝叶斯定理的概率推理框架。贝叶斯定理是概率论中的一个重要定理，它提供了一种计算条件概率的方法，特别是已知事件发生的条件下另一事件发生的概率。贝叶斯定理的公式为：
[ P(A|B) = \frac{P(B|A) \cdot P(A)}{P(B)} ]
其中，( P(A|B) ) 是在事件B发生的条件下事件A发生的后验概率，( P(B|A) ) 是在事件A发生的条件下事件B发生的似然概率，( P(A) ) 是事件A的先验概率，而 ( P(B) ) 是事件B发生的边缘概率 。
贝叶斯方法在数据分析、模式识别、统计决策以及人工智能等领域有广泛应用。通过结合先验知识和新的证据，贝叶斯方法能够不断更新对假设的信念，从而进行概率推断和决策 。
