[GloVe]论文实现：GloVe: Global Vectors for Word Representation*

一、完整代码

稍后补充

二、论文解读

2.1 当前存在的两种word2vec模型

word2vec的两个主要处理方法：

1) Matrix Factorization Methods，如潜在语义分析（LSA）

2) Shallow Window-Based Methods，如CBOW和Skip-gram

    目前，这两个模型方法都存在明显的缺陷。虽然像LSA这样的方法很有效地利用了统计信息，但它们在单词类比任务上做得相对较差，这表明了一个次优的向量空间结构。像skip-gram这样的方法可能在类比任务上做得更好，但它们很少利用语料库的统计数据，因为它们训练的是单独的局部上下文窗口，而不是全局共现计数。

    而GloVe能结合两种优点，通过只训练词共现矩阵中的非零元素，而不是训练整个稀疏矩阵或大型语料库中的单个上下文窗口，有效地利用了统计信息。产生了一个具有有意义的子结构的向量空间；

2.2 GloVe的原理

2.2.1 构建词共现矩阵

    与LSA利用word和top构建词共现矩阵不同的是，GloVe利用的是word和word构建的词共现矩阵，实现原理很简单，利用Shallow Window-Based Methods 即n-gram构建词共现矩阵，接下来我们开始下一步的推导；

2.2.2 定义和推导

    首先我们定义词共现矩阵为 X,其 表示为 中出现的次数；定义 即所有词包含 出现的次数之和；最后定义 ,表示 出现在包含 的上下文出现次数的可能性；

从图中我们可以看出，虽然k在ice和steam出现的概率不高，但是两者的概率的比值根据k值都有一定的变化，再根据k为solid或者gas的结果中我们可以看出，solid大于1对应分子，gas小于1对应分母；再从water和fashion两个与solid和gas几乎无相关的词的值在1附近可以看出，该比率能更好地区分相关单词和不相关单词；

    在这里我们定义 和   这两个词的词向量为 ，随便定义一个映射函数,包含 ，不需要在意是怎么映射的；

然后由于向量空间本质上是线性结构，所以最自然的方法是利用向量差。即可以把 转化为 ，即

再可以看到减数和被减数分别代表着分子和分母，然而分子和分母之间又有一个k与他们联系起来，这里我们可以再进行转化一下，把   ,即   在这里就结束了吗？不！我们还给这个函数添加一个新的功能

得到

由于需要满足这个新功能的函数只有指数函数则定义 ,则有

从自由度的角度来解释由于公式 其中   的值是否固定不影响   的关系，我们可以把其看作一个常数,通过对称性，我们可以把其值表示为

同时要注意到词共现矩阵肯定会出现0元素，所以我们需要进行一下优化，有

到这一步其实还有一个缺陷：会出现一些无意义的词共现程度非常大，所以我们需要加强一下出现词少的权重，减弱一下出现词多的权重；定义函数如下

在这里我们需要定义两个参数 和 ；

最后我们定义损失函数如下：

一般来说我们把 分别固定为100和0.75；

2.2.3 与其他模型的关系

其他模型一般是使用softmax进行分类，即要求

  (

达到最大；这样我们就可以定义其损失函数为

不懂可以考虑一下：  ，在这里又可以通过 转化为

其中 表示 出现在包含 的上下文出现次数的可能性； 可以写为 ，不同的模型主要差别显示在了这里， 都有 出现在包含   的上下文出现次数的可能性的意思，则应该输出一个平方项，于此同时   j ) 是负数，可以把负号给去掉，则应该使其平方和尽可能的小，则可以表示为

为了简化计算有 再根据优化，减弱出现次数多的权重，加强出现次数少的权重，最后我们可以得到

三、过程实现

稍后补充

四、整体总结

GloVe是一种新的全局对数双线性回归模型的无监督学习，在单词类比、单词相似度和命名实体识别任务上优于其他模型（2014年之前）。