Generative Model 
上面的推理网络采样出了若干个句法树 z ，生成网络的目的就是计算它的联合概率 
。这个其实不难，在之前的RNNG论文笔记中，我已经大致讲过了，可以去复习一下：
Recurrent Neural Network Grammarsgodweiyang.com
这里稍稍做了一些改进。
首先需要定义一个栈用来存放转移的历史状态，这里定义栈里放的元素为二元组 
，一个是stack-LSTM编码的输出，一个是子树的结构表示。首先需要预测下一步的action是什么，所以取出栈顶的元素 
，预测action的时候只要用到隐含层输出：
然后根据这个概率预测action是SHIFT还是REDUCE，下面分两种情况讨论。
如果是SHIFT，那么因为是生成模型，所以需要预测下一个移进的单词是什么：
然后将单词 x 的词向量输入到stack-LSTM中得到下一个时刻的隐含层输出：
最后将 
推进栈里。
如果是REDUCE，那么首先需要取出栈顶的两个元素 
，然后用TreeLSTM计算出两个子结点合并后的子树的表示：
接着还是计算stack-LSTM下一个时刻的隐含层输出：
最后将 
推进栈里。
为了防止数值溢出，常规上我们计算联合概率的对数：
从这个式子可以看出，联合概率定义为所有给定某段单词和action预测下一个单词和给定某段单词和action预测下一个action的概率之积。
如果是监督任务比如RNNG，那么只需要最大化这个联合概率就足够了，但是现在要做无监督，没有 z ，注意别搞混了，推理网络采样出的 z 可不能用来监督哦，因为那本来就不是正确的，所以接下来要采用语言模型来作为最终的目标函数。
Variational Inference
句子 x 的对数概率定义为：
其中 
是所有合法句法树的集合，但是这里不可能穷举所有的句法树，所以就要用到变分推理，具体的理论知识不仔细介绍了，可以去查阅变分推理相关知识，下面直接推导。
其中最后一行叫做先验 
的证据下界（ELBO），要想最大化先验，可以最大化这个ELBO，如果我们对这个ELBO变化一下形式可以得到：
所以这个ELBO和先验就相差了一个KL散度，最大化ELBO的话等价于最小化KL散度，也就是使推理网络产生句法树的概率分布和生成模型尽量接近。
但是这个ELBO还是不好算，尽管它把 
移到了求和符号也就是期望里面，所以转换一下形式：
因为模型一共有两组参数，一个是推理网络的参数 
，一个是生成网络的参数 
，所以下面分别对两个参数求导。
首先对 
求偏导，因为只有第一项有这个参数，所以偏导为：
这个偏导可以按照概率 
采样得到：
然后对 
求偏导，因为有两项含有这个参数，分别求偏导。第二项是熵，它的值其实可以用之前的 
数组算出来，算法如下：
然后偏导可以交给深度学习库的自动微分，就不用你自己求啦。
至于第一项的偏导可以用类似于策略梯度的方法解决：
这里最后也是转化为了采样，和策略梯度做法类似，这里加入baseline来提升性能：
其中 
定义为所有其他的对数联合概率的均值：
至此所有偏导都已求出来了，两个通过采样得到，一个通过inside算法结果自动微分得到，所以去掉导数符号并相加就得到了最终的损失函数：
一定要注意，这里的 
在代码实现的时候不能传入梯度，不然的话对 
的偏导就会多出这一项的偏导了！
实验
实验结果这里就不多说了，细节具体看论文吧，就贴两个结果，一个是语言模型：
可以看出在标准的PTB数据集上，URNNG效果只比监督学习的RNNG和用URNNG损失函数微调后的RNNG效果略差一点，但是在大数据集上，URNNG的优势就体现出来了。
另一个是无监督成分句法分析，这里是用的全部长度的测试集：
这个任务上URNNG效果是最好的。
结论
和之前两篇语言模型做无监督成分句法分析类似，这篇论文用推理网络学习句法树的概率分布并采样句法树，再用生成网络计算这些句法树和句子的联合概率，最后用变分推理最大化句子的概率，也就是学习出一个好的语言模型。
这篇论文的工作还是挺令人惊叹的，融合了inside算法、RNNG、变分推理等等知识。本来我变分推理听老师讲了好几次了都云里雾里的，看了这篇论文后总算弄懂了一点了，不过所了解的还是很少，EM算法、VAE之类的高级境界根本不会。。。
