3. 更多Word2Vec细节

对于每个单词（从1到T），我们预测窗口半径大小为m的上下文词汇。

目标函数：最大化预测中心词的上下文概率。

其中θ表示我们需要优化的所有参数。

目标函数-objective function

• 术语:Loss function = cost function = objective function
• 通用的概率分布损失:交叉熵损失(Cross-entropy loss)

Softmax函数：将R^V映射到概率分布的标准函数

下面是Skip-Gram的示意图：

4 .梯度的推导

目标函数：

以下面计算概率的公式：

具体的推导过程：

5. 损失/目标函数

梯度下降

-首先， 为了对整个训练数据最小化J(θ),需要计算出所有窗口的梯度

• 更新每个参数θ
• 步长为α
• 对于所有参数θ的矩阵表示：

批梯度下降(Vanilla Gradient Descent Code)

对于一个简单二元凸函数，下面轮廓线显示了目标函数变化：

随机梯度下降法

上面方法有以下弊端：

• 语料库非常大，具有40B的字符和窗口
• 每次参数更新需要等待很长时间
• 对于神经网络的效果很差
  所以我们采用下面的方法：
  
  

相关推荐阅读

• NLP Research Lab Part 1: Distributed Representations