NLP系列（三）LDA主题模型

1 LDA 简介

首先，我们来感受下LDA是什么，

什么是LDA模型？

看来，不同人在不同场景下对LDA的认识，那我们看下百科的解释：

LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。

看到这里我们只需要先记住：LDA的目的就是要识别主题，即把文档—词汇矩阵变成文档—主题矩阵（分布）和主题—词汇矩阵（分布）

2 LDA模型构建过程

2.1 LDA生成流程

对于语料库中的每篇文档，LDA定义了如下生成过程（generativeprocess）：

1.对每一篇文档，从主题分布中抽取一个主题；

2.从上述被抽到的主题所对应的单词分布中抽取一个单词；

3.重复上述过程直至遍历文档中的每一个单词。

语料库中的每一篇文档与T（通过反复试验等方法事先给定）个主题的一个多项分布 （multinomialdistribution）相对应，将该多项分布记为θ。每个主题又与词汇表（vocabulary）中的V个单词的一个多项分布相对应，将这个多项分布记为φ。

2.2 LDA 整体流程

• 2.2.1 相关定义

1. 先定义一些字母的含义：文档集合D，主题（topic)集合T

D中每个文档d看作一个单词序列，wi表示第i个单词，设d有n个单词。（LDA里面称之为wordbag，实际上每个单词的出现位置对LDA算法无影响）

2. D中涉及的所有不同单词组成一个大集合VOCABULARY（简称VOC），LDA以文档集合D作为输入，希望训练出的两个结果向量（设聚成k个topic，VOC中共包含m个词）
3. 对每个D中的文档d，对应到不同Topic的概率θd，其中，pti表示d对应T中第i个topic的概率。计算方法是直观的，pti=n_ti/n，其中nti表示d中对应第i个topic的词的数目，n是d中所有词的总数。

4. 对每个T中的topict，生成不同单词的概率φt，其中，pwi表示t生成VOC中第i个单词的概率。计算方法同样很直观，pwi=N_wi/N，其中N_wi表示对应到topict的VOC中第i个单词的数目，N表示所有对应到topic的单词总数。

LDA的核心公式如下：

p(w|d)=p(w|t)*p(t|d)

直观的看这个公式，就是以Topic作为中间层，可以通过当前的θd和φt给出了文档d中出现单词w的概率。其中p(t|d)利用θd计算得到，p(w|t)利用φt计算得到。

实际上，利用当前的θd和φt，我们可以为一个文档中的一个单词计算它对应任意一个Topic时的p(w|d)，然后根据这些结果来更新这个词应该对应的topic。然后，如果这个更新改变了这个单词所对应的Topic，就会反过来影响θd和φt。

• 2.2.2 学习过程

LDA算法开始时，先随机地给θd和φt赋值（对所有的d和t）。然后上述过程不断重复，最终收敛到的结果就是LDA的输出。再详细说一下这个迭代的学习过程：

1.针对一个特定的文档ds中的第i单词wi，如果令该单词对应的topic为tj，可以把上述公式改写为：

pj(wi|ds)=p(wi|tj)*p(tj|ds)

2.现在我们可以枚举T中的topic，得到所有的pj(wi|ds)，其中j取值1~k。然后可以根据这些概率值结果为ds中的第i个单词wi选择一个topic。最简单的想法是取令pj(wi|ds)最大的tj（注意，这个式子里只有j是变量），即argmax[j]pj(wi|ds)

3.然后，如果ds中的第i个单词wi在这里选择了一个与原先不同的topic，就会对θd和φt有影响了（根据前面提到过的这两个向量的计算公式可以很容易知道）。它们的影响又会反过来影响对上面提到的p(w|d)的计算。对D中所有的d中的所有w进行一次p(w|d)的计算并重新选择topic看作一次迭代。这样进行n次循环迭代之后，就会收敛到LDA所需要的结果了。

3 实例

3.1 计算文档-词汇矩阵

N个文档组成的语料库（𝐷1，𝐷2，"……" ，𝐷𝑛），由V个词组成的词汇表。矩阵中的值表示了词𝑊𝑗 〖在文档𝐷〗𝑖 中出现的频率，主题用Z表示，下面对语料库中的每一个word随机指派一个主题编号𝑍𝑖，统计每个𝑍_𝑖下出现的word次数，可得一个主题—词汇矩阵。

3.2 计算主题-词汇矩阵

3.3 计算文档主题矩阵

统计每个词代表的主题在每一个文档中出现的次数，可得出以下矩阵文档—主题矩阵

以上讲了大致LDA的感性认识，如果进行严格的数学推导请看这篇文章(https://www.jianshu.com/p/74ec7d5f6821)，本人认为是看到的不错的文章。

4 参考资料

LDA对自己一直是一个谜，看了网上的很多资料，然后整理了几篇不错的，我在这里贴出来。本篇文章主要大致了解了下LDA的大致流程，如果真正搞懂其背后数学原理，还得反复看一下下面的文章：

https://www.one-tab.com/page/FAqHrw6MSEul99kwduZapg

LDA（LDA文档主题生成模型）_百度百科