word2vec深入浅出，保证你一看就会（1）

word2vec目前主流有两种实现的方式，一个是Mikolov13年的skip-gram实现，另一个是stanford大学的golve实现，两者现在都被广泛使用。

对应的论文分别为
https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf
和
http://nlp.stanford.edu/projects/glove/

本文首先介绍Mikolov13年的skip-gram实现。之后代码的解读会使用google2013的开源代码。

---

0.说在前头
在介绍原理之前，说一件非常重要的事情，词的vec到底是在哪里表示的? 
答:是skip-gram的输入层到第一个hidden层（一共就一个hidden层）的weight，weight的每一行（或者每一列）代表一个词向量

1.word2vec的背景

过去自然语言处理的时候是怎么表示一个词的？
答：one-hot表示。In vector space terms, this is a vector with one 1 and a lot of zeroes [0 0 0 0 0 0 0 0 0 0 1 0 0 0 0]
比如
motel [0 0 0 0 0 0 0 0 0 0 1 0 0 0 0] AND hotel [0 0 0 0 0 0 0 1 0 0 0 0 0 0 0] = 0
可是motel和hotel其实是有很大相关性的，但他们and一下竟然是0真的太糟糕了！

因此，很多学者就想到了用前后文来表示一个词，先不管神经网络怎么定义，比如有这个两句话
Hotel lives people.    Motel lives people.
那么我们想得到的效果是, 输入是 Hotel， 答案是 lives， 输入是Hotel 答案是 people.
输入是 Motel 答案是lives, 输入是Motel 答案是people.

从直觉上来说，由于Hotel和Motel作为输入的时候，答案非常类似，因此这两个词也非常相似。



2.word2vec skip-gram实现的神经网络结构

先上图
明确每个部分的含义
input的w(t) 是一个one-hot表示 如 [0 0 0 0 0 0 0 0 0 0 1 0 0 0 0...]这个向量的长度其实就是词汇量 V，也就是这个语言的所有的单词的数量。

input->projection的箭头是一个weight取名w1, 为V*H维，H是hidden层的维度。意识到每一个单词的输入其实就一个维上是1，因此w(t)*w1其实就是取了w1中的一列。 取的这一列就是单词的词向量。

projection层就是hidden层，为一个H维向量,取名为h。

projection->output的箭头是一个weight取名w2,为H*V维，projection->output的所有箭头都是使用同一个weight,即w2


output层为  hidden层到output层乘积 h*w2的值取softmax。 output层是一个V维向量，取名叫o
output层上还有标有w(t-2) w(t-1）这个是目标值（正解）。也就第t个单词的前后几个单词，前面在input中有提到，w(t-2)w(t-1）都是一个V维向量的one-hot表示。也就是说把计算得到的o和w(t-2),w（t-1）比较，然后类似于logestic regrestion来向这些目标值(正解)靠拢。


明确了每个部分含义以后，再阐述下具体的计算过程
比如有如下文本： 我 去 吃 饭 了
w(t-2)=我 w(t-1)=去 w(t)=吃 w(t+1)=饭 w(t+2)=了    的one-hot

forward 的时候是 o=softmax(w(t)*w1*w2)
backward时候output层loss 是  （o-w(t-2)）+（o-w(t-1)）+(o-w(t+1))+(o-w(t+2))
要更新的是w1,w2，具体更新方法是backpropagation。


3.word2vec 为什么hotel和motel相似

从上述神经网络结构可以看出，hotel,motel周围的单词比较类似，那在上图中的体现就是output层的答案（hotel和motel周围的词）类似。由于output层的计算值o是由h*w2得到的，w2是共享的weight不会改变，所以在hotel,motel的one-hot作为输入时，h也是很类似的。 而h值其实就是w1中取一列。因此hotel和motel在w1中的取的那一列就很类似。 重要的事情说三遍  取的这一列就是单词的词向量，
因此，hotel和motel的词向量就很相似。



下一期会进行google code的review，刚刚介绍的方法在模型更新时非常缓慢，在实践中有两种更新方法，一种比较高大上，一种听上去傻点，但是效果是一致的。尽请期待。