1. Gibbs采样算法求解LDA的思路

　　　　首先，回顾LDA的模型图如下：

　　　　在Gibbs采样算法求解LDA的方法中，我们的 α,η $\alpha ,\eta$是已知的先验输入,我们的目标是得到各个 zdn,wkn $z_{dn},w_{kn}$对应的整体 z⃗ ,w⃗  $\stackrel{\to }{z},\stackrel{\to }{w}$的概率分布，即文档主题的分布和主题词的分布。由于我们是采用Gibbs采样法，则对于要求的目标分布，我们需要得到对应分布各个特征维度的条件概率分布。

　　　　具体到我们的问题，我们的所有文档联合起来形成的词向量 w⃗  $\stackrel{\to }{w}$是已知的数据，不知道的是语料库主题 z⃗  $\stackrel{\to }{z}$的分布。假如我们可以先求出 w,z $w,z$的联合分布 p(w⃗ ,z⃗ ) $p(\stackrel{\to }{w},\stackrel{\to }{z})$，进而可以求出某一个词 wi $w_i$对应主题特征 zi $z_i$的条件概率分布 p(zi=k|w⃗ ,z⃗ ¬i) $p(z_i=k|\stackrel{\to }{w},{\stackrel{\to }{z}}_{\mathrm{\neg }i})$。其中， z⃗ ¬i ${\stackrel{\to }{z}}_{\mathrm{\neg }i}$代表去掉下标为 i $i$的词后的主题分布。有了条件概率分布 p(zi=k|w⃗ ,z⃗ ¬i) $p(z_i=k|\stackrel{\to }{w},{\stackrel{\to }{z}}_{\mathrm{\neg }i})$，我们就可以进行Gibbs采样，最终在Gibbs采样收敛后得到第 i $i$个词的主题。

　　　　如果我们通过采样得到了所有词的主题,那么通过统计所有词的主题计数，就可以得到各个主题的词分布。接着统计各个文档对应词的主题计数，就可以得到各个文档的主题分布。

　　　　以上就是Gibbs采样算法求解LDA的思路。

2. 主题和词的联合分布与条件分布的求解

　　　　从上一节可以发现，要使用Gibbs采样求解LDA，关键是得到条件概率 p(zi=k|w⃗ ,z⃗ ¬i) $p(z_i=k|\stackrel{\to }{w},{\stackrel{\to }{z}}_{\mathrm{\neg }i})$的表达式。那么这一节我们的目标就是求出这个表达式供Gibbs采样使用。

　　　　首先我们简化下Dirichlet分布的表达式,其中 △(α) $\mathrm{△}(\alpha )$是归一化参数：

　　　　现在我们先计算下第d个文档的主题的条件分布 p(z⃗ d|α) $p({\stackrel{\to }{z}}_d|\alpha )$，在上一篇中我们讲到 α→θd→z⃗ d $\alpha \to {\theta }_d\to {\stackrel{\to }{z}}_d$组成了Dirichlet-multi共轭,利用这组分布，计算 p(z⃗ d|α⃗ ) $p({\stackrel{\to }{z}}_d|\stackrel{\to }{\alpha })$如下：

　　　　其中，在第d个文档中，第k个主题的词的个数表示为： n(k)d $n_d^{(k)}$, 对应的多项分布的计数可以表示为

　　　　有了单一一个文档的主题条件分布，则可以得到所有文档的主题条件分布为：

　　　　同样的方法，可以得到，第k个主题对应的词的条件分布 p(w⃗ |z⃗ ,η⃗ ) $p(\stackrel{\to }{w}|\stackrel{\to }{z},\stackrel{\to }{\eta })$为：

　　　　其中，第k个主题中，第v个词的个数表示为： n(v)k $n_k^{(v)}$, 对应的多项分布的计数可以表示为

　　　　最终我们得到主题和词的联合分布 p(w⃗ ,z⃗ |α⃗ ,η⃗ ) $p(\stackrel{\to }{w},\stackrel{\to }{z}|\stackrel{\to }{\alpha },\stackrel{\to }{\eta })$如下：

　　　　有了联合分布，现在我们就可以求Gibbs采样需要的条件分布 p(zi=k|w⃗ ,z⃗ ¬i) $p(z_i=k|\stackrel{\to }{w},{\stackrel{\to }{z}}_{\mathrm{\neg }i})$了。需要注意的是这里的i是一个二维下标，对应第d篇文档的第n个词。

　　　　对于下标 i $i$,由于它对应的词 wi $w_i$是可以观察到的，因此我们有：

　　　　对于 zi=k,wi=t $z_i=k,w_i=t$,它只涉及到第d篇文档和第k个主题两个Dirichlet-multi共轭，即：

　　　　其余的 M+K−2 $M+K-2$个Dirichlet-multi共轭和它们这两个共轭是独立的。如果我们在语料库中去掉 zi,wi $z_i,w_i$,并不会改变之前的 M+K $M+K$个Dirichlet-multi共轭结构，只是向量的某些位置的计数会减少，因此对于 θ⃗ d,β⃗ k ${\stackrel{\to }{\theta }}_d,{\stackrel{\to }{\beta }}_k$,对应的后验分布为：

　　　　现在开始计算Gibbs采样需要的条件概率：

　　　　在上一篇LDA基础里我们讲到了Dirichlet分布的期望公式，因此我们有：

　　　　最终我们得到每个词对应主题的Gibbs采样的条件概率公式为：

　　　　有了这个公式，我们就可以用Gibbs采样去采样所有词的主题，当Gibbs采样收敛后，即得到所有词的采样主题。

　　　　利用所有采样得到的词和主题的对应关系，我们就可以得到每个文档词主题的分布 θd ${\theta }_d$和每个主题中所有词的分布 βk ${\beta }_k$。

3. LDA Gibbs采样算法流程总结

　　　　现在我们总结下LDA Gibbs采样算法流程。首先是训练流程：

　　　　1） 选择合适的主题数 K $K$, 选择合适的超参数向量 α⃗ ,η⃗  $\stackrel{\to }{\alpha },\stackrel{\to }{\eta }$

　　　　2） 对应语料库中每一篇文档的每一个词，随机的赋予一个主题编号 z $z$

　　　　3)  重新扫描语料库，对于每一个词，利用Gibbs采样公式更新它的topic编号，并更新语料库中该词的编号。

　　　　4） 重复第2步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛。

　　　　5） 统计语料库中的各个文档各个词的主题，得到文档主题分布 θd ${\theta }_d$，统计语料库中各个主题词的分布，得到LDA的主题与词的分布 βk ${\beta }_k$。

　　　　下面我们再来看看当新文档出现时，如何统计该文档的主题。此时我们的模型已定，也就是LDA的各个主题的词分布 βk ${\beta }_k$已经确定，我们需要得到的是该文档的主题分布。因此在Gibbs采样时，我们的 EDirichlet(βk)(βkt) $E_{Dirichlet({\beta }_k)}({\beta }_{kt})$已经固定，只需要对前半部分 EDirichlet(θd)(θdk) $E_{Dirichlet({\theta }_d)}({\theta }_{dk})$进行采样计算即可。

　　　　现在我们总结下LDA Gibbs采样算法的预测流程：

　　　　1） 对应当前文档的每一个词，随机的赋予一个主题编号 z $z$

　　　　2)  重新扫描当前文档，对于每一个词，利用Gibbs采样公式更新它的topic编号。

　　　　3） 重复第2步的基于坐标轴轮换的Gibbs采样，直到Gibbs采样收敛。

　　　　4） 统计文档中各个词的主题，得到该文档主题分布。

4. LDA Gibbs采样算法小结 　　　

　　　　使用Gibbs采样算法训练LDA模型，我们需要先确定三个超参数 K,α⃗ ,η⃗  $K,\stackrel{\to }{\alpha },\stackrel{\to }{\eta }$。其中选择一个合适的 K $K$尤其关键,这个值一般和我们解决问题的目的有关。如果只是简单的语义区分，则较小的 K $K$即可，如果是复杂的语义区分，则 K $K$需要较大，而且还需要足够的语料。