生成式模型
本文最重要的就是上面提到的生成式模型，因为GEN(x)动作的存在，所以模型同时对句子 X 和句法树 Y 的联合分布进行了建模。记当前状态的向量表示为 
，那么联合分布可以表示为：
其中 
表示动作 A 的向量表示， B 表示偏移向量，都包含在了RNNG参数集合 
里面，通过训练得到。
而当前状态的向量表示 
由三部分得到，输出buffer的LSTM输出 
、栈的LSTM输出 
、历史动作序列的LSTM输出 
，然后经过一个前馈神经网络得到：
W 和 c 同样也包含在了RNNG参数集合 
里面，下图是三个LSTM的示例图：
句法成分组合
在REDUCE操作时，需要将若干个子结点归约为一个父结点，为了得到父结点的向量表示，再次利用一个LSTM对子结点序列进行编码，同时在首尾加上父结点，结构图如下所示：
单词生成
单词生成采用softmax寻找概率最大的单词，但是单词数量可能十分巨大，所以采用分层softmax的思想，首先预测当前动作是不是GEN，如果是GEN，记单词总数为 
，再将单词平均分成 
个类别，用softmax预测属于哪个类别，然后在那个类别里再用softmax预测输出哪个单词。这样时间复杂度就从 
降到了 
。
参数训练和判别式模型
模型最终训练目的就是使得联合概率最大。
而只需要将输出buffer改为输入buffer，GEN动作改为SHIFT动作，然后重新训练，就可以将模型变为判别式模型了，输出给定输入句子下概率最大的句法树。
通过重要性采样进行推理
本文的生成式模型另一大作用是训练语言模型 
，根据边际分布公式 
可以直接得到 
，但是一句话的句法树可能性是指数级别的，不可能一一枚举，这时候就要用到重要性采样算法。
首先定义一个比较容易得到的条件分布 
，它满足如下性质：
可以推出 
。- 服从分布的样本很容易得到。
可以直接计算得到。
可以发现，上面的判别式模型得到的条件分布符合上面的性质，所以这里直接用判别式模型来进行采样。
这样 
就变为了：
其中重要性权重 
。
最后如果根据分布 
采样得到了 N 个句法树样本，那么用蒙特卡罗方法就可以估计出 
了：
实验
实验部分主要说一下PTB上的句法分析和语言模型吧，下面两张图分别是句法分析和语言模型的结果：
句法分析方面可以看出，生成模型效果要远远好于判别模型，生成模型效果也接近了当时的最好结果。一个合理的解释是在小数据集上面，生成模型效果要更好，而在大数据集上，判别模型效果可以赶上生成模型。
这里要提到的一点是，判别式模型就是每一个状态直接贪心argmax找到概率最大的动作，然后生成句法树。而生成式模型是利用判别式模型采样出100个概率比较高的句法树，然后用生成式模型计算它们的联合概率，重排序选择概率最高的句法树。
语言模型方面，结果要比最好结果高了一点。
总结
RNNG这个文法是个生成式模型，建模了句子和句法树的联合分布，稍稍修改即可应用到句法分析和语言模型中，效果也非常的好。
最后，我再简要梳理一遍RNNG的主要训练过程，因为这篇论文也看了整整两天，还是看的头大，一些细节可能还是没完全搞清。
首先利用生成式模型对每句话进行训练，在每个状态计算正确的动作的概率，然后训练使得概率之积最大。
然后应用到句法分析中，只需要修改为判别式模型即可。
最后应用到语言模型中，由于需要用到重要性采样，所以直接利用判别式模型生成若干样本，然后根据算得的条件概率计算语言模型句子的概率。
