一、蒙特卡洛方法

这里介绍三种采样方法：

1. 概率分布采样

首先要求得概率密度函数PDF的累计密度函数CDF，然后求CDF得反函数，在0-1之间均匀取样，代入反函数，就得到了取样点。这个方法的缺点就是大部分PDF很难求得CDF：

                                            概率分布采样

2. 拒绝采样（Rejection Sampling）

重要性采样有⼀个变种 Sampling-Importance-Resampling，这种方法，首先和上面⼀样进行采样，然后在采样出来的N个样本中，重新采样，这个重新采样，使⽤每个样本点的权重作为概率分布进行采样。

二、马尔可夫链

1. 齐次马尔科夫链

2. 转移概率矩阵和状态分布

• 转移概率矩阵

• 状态分布

其中：

3. 平稳分布

• 定义

证明如下：

这个定理给出了一个求马尔可夫链平稳分布的方法。

4. 连续状态马尔可夫链

• 概率转移核

连续状态马尔可夫链的转移概率分布由概率转移核或转移核（transition kernel）表示。

或简写为：

三、马尔可夫链的性质

以下通过离散状态马尔可夫链介绍马尔可夫链的性质，可以推广到连续状态马尔可夫链。

1. 不可约

直观上，一个不可约的马尔可夫链，从任意状态出发，当经过充分长时间后，可以到达任意状态。

举例：

2. 非周期

在状态空间S中对于任意状态i∈ S，如果时刻0从状态i出发，t时刻返回状态的所有时间长{t : P(Xt= àX。= i) >0}的最大公约数是1，则称此马尔可夫链是非周期的(aperiodic)，否则称马尔可夫链是周期的(periodic) .

直观上，一个非周期性的马尔可夫链，不存在一个状态，从这一个状态出发，再返回到这个状态时所经历的时间长呈一定的周期性，也就是说非周期性的马尔可夫链的任何状态都不具有周期性。

举例：

3. 正常返

直观上，一个正常返的马尔可夫链，其中任意一个状态，从其他任意一个状态出发，当时间趋于无穷时，首次转移到这个状态的概率不为 。

定理：

不可约、非周期且正常返的马尔可夫链，有唯一平稳分布存在。

4. 遍历定理

设有马尔可夫链X= {Xo,X1,……, Xt,…}，若这个马尔可夫链是不可约、非周期且正常返的，则该马尔可夫链有唯―平稳分布优 =(T1,T2,….)T，并且转移概率的极限分布是马尔可夫链的平稳分布:

也就是：

样本均值可以认为是时间均值，数学期望是空间均值。遍历定理表述了遍历性的含义：当时间趋于无穷时，时间均值等于空间均值。

遍历定理的三个条件：不可约、非周期、正常返，保证了当时间趋于无穷时达到任意一个状态的概率不为 。

称为遍历均值。

5. 可逆马尔可夫链

• 定义

则称此马尔可夫链为可逆马尔可夫链（reversible Markov chain），上式又被称作细致平衡方程（detailed balance equation）。

直观上，如果有可逆马尔可夫链，那么以该马尔可夫链的平稳分布作为初始分布，进行随机状态转移，无论是面向过去还是面向未来，任何一个时刻的状态分布都是该平稳分布。

• 定理

该定理说明，可逆马尔可夫链一定有唯一平稳分布，给出了一个马尔可夫链有平稳分布的充分条件（不是必要条件）。也就是说，可逆马尔可夫链满足遍历定理的条件。

参考资料

ref:李航《统计学习方法》