作者：韩信子@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/36
本文地址：http://www.showmeai.tech/article-detail/237
声明：版权所有，转载请联系平台与作者并注明出处
收藏ShowMeAI查看更多精彩内容
本系列为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》的全套学习笔记，对应的课程视频可以在 这里 查看。
ShowMeAI为CS224n课程的全部课件，做了中文翻译和注释，并制作成了 GIF动图！点击 第5讲-句法分析与依存解析 查看的课件注释与带学解读。更多资料获取方式见文末。
概述
CS224n是顶级院校斯坦福出品的深度学习与自然语言处理方向专业课程，核心内容覆盖RNN、LSTM、CNN、transformer、bert、问答、摘要、文本生成、语言模型、阅读理解等前沿内容。
笔记核心词
- Dependency Grammar
- Dependency Structure
- Neural Dependency Parsing
- 依存解析
- 依存句法
- 语法依赖
1.依存语法与依存结构
与编译器中的解析树类似，NLP中的解析树是用于分析句子的句法结构。使用的结构主要有两种类型——短语结构 和 依存结构。短语结构文法使用短语结构语法将词组织成嵌套成分。后面的内容会展开对它做更详细的说明。我们现在关注依存语法。
句子的依存结构展示了单词依赖于另外一个单词 (修饰或者是参数)。词与词之间的二元非对称关系称为依存关系，描述为从head (被修饰的主题) 用箭头指向dependent (修饰语)。一般这些依存关系形成树结构，他们通常用语法关系的名称 (主体，介词宾语，同位语等)。
Bills on ports and immigration were submitted by Senator Brownback， Republican of Kansas. 依存树的例子如下图所示：
有时，在依存树的头部增加一个假的ROOT节点，这样每个单词都依存于唯一一个节点。
1.1 依存分析
依存语法是给定一个输入句子 
，分析句子的句法依存结构的任务。依存句法的输出是一棵依存语法树，其中输入句子的单词是通过依存关系的方式连接。
正式一点定义，依存语法问题就是创建一个输入句子的单词 
(其中 
是 ROOT) 到它的依存语法树的映射图 
。最近几年提出了很多以依存句法为基础的的变体，包括基于神经网络的方法，我们将会在后面介绍。
确切地说，在依存语法中有两个子问题：
- 学习：给定用依赖语法图标注的句子的训练集
，创建一个可以用于解析新句子的解析模型 
- 解析：给定解析模型 和句子 ，根据 得到 的最优依存语法图
1.2 基于转移的依存分析
Transition-based 依存语法依赖于定义可能转换的状态机，以创建从输入句到依存句法树的映射。
- 「学习」问题是创建一个可以根据转移历史来预测状态机中的下一个转换的模型。
- 「解析」问题是使用在学习问题中得到的模型对输入句子构建一个最优的转移序列。
大多数 Transition-based 系统不会使用正式的语法。
1.3 Greedy Deterministic Transition-Based Parsing
这个系统是由 Nivre 在 2003 年提出，与当时的常用方法截然不同。
这个转换系统是一个状态机，它由状态和这些状态之间的转换组成。该模型导出了从初始状态到几种终端状态之一的一系列转换。
1) 状态
对任意句子 ，一个状态可以描述为一个三元组 
：
- 来自 的单词
的堆 
- 来自 的单词 的缓冲区
- 一组形式为
的依存弧，其中 
是来自 ，和 
描述依存关系。
因此，对于任意句子 ：
- 一个形式为
的初始状态 
(现在只有 ROOT 在堆 中，没有被选择的单词都在缓冲区 中。 - 一个形式为
的终点状态。
2) 转移
在状态之间有三种不同类型的转移：
：移除在缓冲区的第一个单词，然后将其放在堆的顶部 (前提条件：缓冲区不能为空)。
：向依存弧集合 
中加入一个依存弧 
，其中 是堆顶的第二个单词， 
是堆顶部的单词。从栈中移除 (前提条件：堆必须包含两个单词以及 不是 ROOT )
：向依存弧集合 中加入一个依存弧 ，其中 是堆顶的第二个单词， 是堆顶部的单词。从栈中移除 (前提条件：堆必须包含两个单词)
下图给出了这三个转换的更正式的定义：
1.4 神经网络依存解析器
虽然依赖项解析有很多深层模型，这部分特别侧重于贪心，基于转移的神经网络依存语法解析器。与传统的基于特征的判别依存语法解析器相比，神经网络依存语法解析器性能和效果更好。与以前模型的主要区别在于这类模型依赖稠密而不是稀疏的特征表示。
我们将要描述的模型采用上一部分中讲述的标准依存弧转换系统。最终，模型的目标是预测从一些初始状态 
到一个终点状态的转换序列，对模型中的依存语法树进行编码的。
由于模型是贪心的，它基于从当前的状态 
提取特征，然后尝试一次正确地预测一次转移 
。回想一下， 是栈， 是缓存， 是对于一个给定的句子的依赖弧的集合。
1) 特征选择
根据该模型所需的复杂性，定义神经网络的输入是灵活的。对给定句子 的特征包含一些子集：
：在堆 的顶部和缓冲区 的 中一些单词的词向量 (和它们的依存)。
：在 中一些单词的词性标注 ( POS )。词性标注是由一个离散集合组成：
。
：在 中一些单词的依存标签。依存标签是由一个依存关系的离散集合组成：
。
对每种特征类型，我们都有一个对应的将特征的 one-hot 编码映射到一个 
维的稠密的向量表示的嵌入矩阵。
- 的完全嵌入矩阵是
，其中 
是字典/词汇表的大小。 - POS 和依存标签的嵌入矩阵分别为
和 
，其中 
和 
分别为不同词性标注和依存标签的个数。
最后，定义从每组特征中选出的元素的数量分别为 
，
，
。
2) 特征选择的例子
作为一个例子，考虑一下对 ， 和 的选择：
- ：在堆和缓冲区的前三个单词：
。栈顶部两个单词的第一个和第二个的 leftmost / rightmost 的子单词：
。栈顶部两个单词的第一个和第二个的 leftmost of leftmost / rightmost of rightmost 的子单词：
。 总共含有 
个元素。 - ：相应的词性标注，则 含有
个元素。 - ：单词的对应的依存标签，不包括堆/缓冲区上的
个单词，因此 含有 
个元素。
注意我们使用一个特殊的 
表示不存在的元素：当堆和缓冲区为空或者还没有指定依存关系时。
对一个给定句子例子，我们按照上述的方法选择单词，词性标注和依存标签，从嵌入矩阵 
中提取它们对应的稠密的特征的表示，然后将这些向量连接起来作为输入 
。
在训练阶段，我们反向传播到稠密的向量表示，以及后面各层的参数。
3) 前馈神经网络模型
（关于前馈神经网络的内容也可以参考ShowMeAI的对吴恩达老师课程的总结文章深度学习教程 | 神经网络基础，深度学习教程 | 浅层神经网络和深度学习教程 | 深层神经网络）
这个神经网络包含一个输入层 ，一个隐藏层，以及具有交叉熵损失函数的最终 softmax 层。
我们可以在隐藏层中定义单个权值矩阵，与 进行运算，我们可以使用三个权值矩阵 
，每个矩阵对应着相应的输入类型，如下图所示。
- Softmax layer：
- Hidden layer：
- Input layer：
然后我们应用一个非线性函数并使用一个额外的仿射层 
，使得对于可能的转移次数 (输出维度) ，有相同数量的 softmax 概率。
- 注意在上图中，使用的非线性函数是
。
有关 greedy transition-based 神经网络依存语法解析器的更完整的解释
2.参考资料
- 本教程的在线阅读版本
- 《斯坦福CS224n深度学习与自然语言处理》课程学习指南
- 《斯坦福CS224n深度学习与自然语言处理》课程大作业解析
- 【双语字幕视频】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲)
ShowMeAI 系列教程推荐
- 大厂技术实现 | 推荐与广告计算解决方案
- 大厂技术实现 | 计算机视觉解决方案
- 大厂技术实现 | 自然语言处理行业解决方案
- 图解Python编程：从入门到精通系列教程
- 图解数据分析：从入门到精通系列教程
- 图解AI数学基础：从入门到精通系列教程
- 图解大数据技术：从入门到精通系列教程
- 图解机器学习算法：从入门到精通系列教程
- 机器学习实战：手把手教你玩转机器学习系列
- 深度学习教程 | 吴恩达专项课程 · 全套笔记解读
- 自然语言处理教程 | 斯坦福CS224n课程 · 课程带学与全套笔记解读
自然语言处理(NLP)系列教程
- NLP教程(1)- 词向量、SVD分解与Word2vec
- NLP教程(2)- GloVe及词向量的训练与评估
- NLP教程(3)- 神经网络与反向传播
- NLP教程(4)- 句法分析与依存解析
- NLP教程(5)- 语言模型、RNN、GRU与LSTM
- NLP教程(6)- 神经机器翻译、seq2seq与注意力机制
- NLP教程(7)- 问答系统
- NLP教程(8)- NLP中的卷积神经网络
- NLP教程(9)- 句法分析与树形递归神经网络
斯坦福 CS224n 课程带学详解
- 斯坦福NLP课程 | 第1讲 - NLP介绍与词向量初步
- 斯坦福NLP课程 | 第2讲 - 词向量进阶
- 斯坦福NLP课程 | 第3讲 - 神经网络知识回顾
- 斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图
- 斯坦福NLP课程 | 第5讲 - 句法分析与依存解析
- 斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型
- 斯坦福NLP课程 | 第7讲 - 梯度消失问题与RNN变种
- 斯坦福NLP课程 | 第8讲 - 机器翻译、seq2seq与注意力机制
- 斯坦福NLP课程 | 第9讲 - cs224n课程大项目实用技巧与经验
- 斯坦福NLP课程 | 第10讲 - NLP中的问答系统
- 斯坦福NLP课程 | 第11讲 - NLP中的卷积神经网络
- 斯坦福NLP课程 | 第12讲 - 子词模型
- 斯坦福NLP课程 | 第13讲 - 基于上下文的表征与NLP预训练模型
- 斯坦福NLP课程 | 第14讲 - Transformers自注意力与生成模型
- 斯坦福NLP课程 | 第15讲 - NLP文本生成任务
- 斯坦福NLP课程 | 第16讲 - 指代消解问题与神经网络方法
- 斯坦福NLP课程 | 第17讲 - 多任务学习(以问答系统为例)
- 斯坦福NLP课程 | 第18讲 - 句法分析与树形递归神经网络
- 斯坦福NLP课程 | 第19讲 - AI安全偏见与公平
- 斯坦福NLP课程 | 第20讲 - NLP与深度学习的未来
