介绍
无监督句法分析是现在比较热门,也有很多东西可做的方向。有监督的已经做得非常好了,感觉做不下去了,所以做一做无监督的试试。
这篇论文主要用inside-outside算法算出每个span的表示和分数,然后最大化每个叶子结点的分数,类似于bert的masked语言模型。不用像之前的工作那样,需要最后得到句子和短语的表示,然后用来做下游任务。
本文模型简称叫DIORA,也就是Deep Inside-Outside Recursive Autoencoders。inside步骤其实类似chart parser的前向过程,outside步骤用来重构每个单词。
DIORA在好几个数据集上都取得了非常大的提升。
为了理解这篇论文,推荐先去看一下inside-outside算法:
Inside-outside Algorithm in PCFGgodweiyang.com
DIORA
这篇论文的符号定义有点奇怪,以往都是用span的左右边界 来表示的,但是这篇论文只用几个数字 i 来表示,顺序是按照chart表自底向上,从左向右。也就是按照span长度从小到大排序,相同长度的按照左边界从小到大排序,然后依次给上标号。
首先给定长度为 T 的句子 ,每个单词 都有一个预训练的词向量 。本文中只讨论二叉树,所以预先将句法树进行了二叉化。
对于短语 K ,定义它的inside向量为 ,outside向量为 ,inside分数为 ,outside分数为 。定义它的儿子结点对的短语集合为 ,例如 两个短语可以结合成短语 K ,那么 。
Inside过程
首先对于叶子结点,用一个线性变换算出它的向量表示和得分:
其实这就类似于Tree-LSTM的结点函数,因为叶子结点肯定存在的,所以所有叶子结点得分都初始化为0。
然后对于任意一个高层的结点 k ,它的儿子结点对的集合为 。对于其中的任意一对结点 ,定义它俩组合的分数为:
其中 函数是一个双线性函数:
然后用softmax
函数算出每一对 的权重:
最后加权求和求出短语 k 的inside得分:
下面就是计算短语 k 的inside向量了,首先用TreeLSTM或者两层MLP算出结点对 k 的向量表示:
然后根据刚刚算出的权重进行加权求和得到inside向量表示:
Outside过程
outside其实计算方法和inside很类似,只是不是通过短语 k 的两个儿子来计算了,而是通过它的父亲结点和兄弟结点计算。
首先看一下下面这张模型图:
左边是inside过程,右边是outside过程
左半部分inside过程很好理解,右半部分注意的是 k 表示的是当前要求的结点, j 表示的是它的父结点, i 表示的是它的兄弟结点。
类比inside过程,首先初始化根结点,注意本文中根节点并没有用inside得到的根结点表示,而是随机初始化的。然后对于下层的结点 k ,计算它的某个父结点 j 和兄弟结点 i 的配对得分:
然后还是用softmax
函数算出每一对 的权重:
注意这里的 其实表示的是短语 k 的父结点和兄弟结点配对的集合了,和inside过程不一样,但是论文里并没有说。
然后加权求和求出短语 k 的outside得分:
在本文中这个 函数和inside过程中的是用的同一套参数。
目标函数
因为是无监督语料,所以最后的监督只能回到每个单词上面来,用语言模型来训练。对于单词 ,用 来表示包含这个单词的所有可能的句法树的得分总和。这里采用margin-loss来作为损失函数:
其中 N 是采样的负样本数量,当然这里符号写的感觉也有一点小问题,首先没有写出 ,其次 是随机采样的,并不是从0到 ,范围其实也在0到 。不过意思懂了就行,采样是根据词频。
解码过程
预测阶段要解码出句法树,这就很简单了,用的是传统的CKY算法,只需要使用到inside得分 就行了,下面是伪代码:
CKY解码算法