开发者学堂课程【阿里小蜜中的机器阅读技术：机器阅读理解研究现状】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/43/detail/963
机器阅读理解研究现状
内容介绍：
一、机器阅读研究介绍
二、机器阅读成就
三、机器阅读理解发展路线
一、机器阅读研究介绍
机器阅读这项技术学术界其实也是一个目前热点的研究方向。
如下图：
左边这个区域列出了之前一些比较热门的学术研究的数据集，其中 SQuAD 是斯坦福大学推出的一项针对机器阅读理解的数据集，引发了全世界的公司和高校的关注，在中间举了一个简单的例子，是对于一个降雨成因的一个段落，用户会去提出一定的问题，然后根据这些问题从段落里面摘出可能能回答的一个片段，在其中，斯坦福大学的同学设置了一个实验，通过众包的方式把维基百科里边的内容去选取出来，然后让一拨人去提问，再让另外一拨人去根据提问做回答，同时又引入其他的方式去做二次的校验，通过这样的方式收集了大量的数据。
如下图：
在其中，可能会提到降雨的成因是什么？可能会有重力因素， 雨或者说冻雨的一些形式，它有可能除了冰雹、雪之外还有哪些的形式？所有的这些文章或者片段一共在整个 SQL 数据集上有536篇，涉及到了23,215个段落，整个的问题量集大概是10万个问题的规模。在这里边面也可以对数据做一个简单的分析，可以看到右边这块靠近左边的柱状图，它显示了当前这个问题的一个长度分布，大部分问题呢都是在10~15个单词，并不是特别长特别难的问题。
另外，右边这块显示了它整个段落的一个长度分布基本上也是在100~200之间，可以说它也是一个相对来说较短的一个段落，去针对它去提出的一些问题。
在斯坦福大学提出 SQL 的1.0这个版本之后，又紧接着提出了2.0的升级，2.0的升级相比1.0主要是在一些不能回答的问题上做了一些额外的补充，比如说它可能通过一些简单的规则，替换掉用户其中的一些否定词，原来的同义词替换成反义词，还有一些实体替换等方式，它构造一些这个文章里面不能够回答的问题，但相对来说一眼看上去又和文章关系很大，通过引入这样的一些不能回答的问题来去解决原始1.0无法规避的问题，就是之前只能包含有答案的那部分。
围绕着此问题、整个数据集以及相关的问题研究也提出了很多的模型，在此就不具体介绍，可能关注这个领域的人会比较了解。这也是在各个公司的现有研究的基础上提出来的，比如说 Google 的 DRQA、微软的 R-NET，左上角是阿里巴巴达摩院提出的 SLQA 模型，针对 SLQA 模型,如下图是一个具体的介绍：
右边这块它主要展示了 SLQA 模型整体的一个架构，可以看到在最下面的话是通过问题和文章做一定的编码，同时可能会依赖于外部的一些原模型的结果，同时这些编码会作为整体的输入。
输入到整个的 attention 层，也就是一个注意力层，这些注意力会去做问题本身和文章本身的注意力以及它们相互之间的注意力，其背后的一个思想其实是像人一样学习一个神经网络去设计它，比如说对问题和文章，它分别需要做正向和反向的阅读理解，它代表了在编码这一层双向的一个编码过程，同时操作中需要带着问题去看文章，如此便可以比较高效的去定位到相关的段落，也就是前面提到的注意力，带有问题注意力的文章做了一定的理解之后，会继续预测答案在文章中的起始位置和结束位置，并给出相关的预测的确信度，就是在图上上半部分的那一块区域显示的，机器阅读设计中会去根据当前的一些注意力信息以及综合以前的整个问题的编码信息，去从文章里面选择相关的位置，整体的工作也发表在了 ACL2018 的文章上面。
二、机器阅读成就
阿里小蜜在机器阅读领域的成就：
·2018年1月在斯坦福评测 SQuAD v1.1中历史首次超越人类表现（ EM :82.44 vs .82.3)
·2018年2月在 TriviaQA 评测中获得第一
·2018年9月在 SQuAD v2.0评测中获得第一
·2018年10月在百度 DuReader Q & A 评测中获得第一
·2018年12月在微软 MARCO 评测中获得第一
·2019年6月23日在多轮问答数据集 QuAC 评测中获得第一
·机器阅读相关论文入选 ACL 2018, AAAI 2019
·平头哥芯片公司首批合作伙伴，30＋国内外主流媒体报道（ CNN ／彭博／ BBC .)
如上是整个机器阅读领域目前所拿到的一些成就，其中最为瞩目的是2018年在斯坦福评测的 SQuAD v1.1 中历史首次超越了人类的表现，主要是在 EM ，就是说机器阅读模型预测出来的答案和人工的答案完全一致，在这样的一个指标上第1次超越了人类，在之后一系列机械读相关的评测中，比如TriviaQA、SQuAD v2.0、百度 DuReader Q & A等等的一些评测中，阿里小蜜也都分别拿到了第一或者目前最好的成绩，同时也发表了相关的论文，在ACL 2018、以及 AAAI 2019
中也引发了国内外主流媒体的一系列的报道，阿里小蜜在学术领域机器阅读已经取得了一定的成绩。
三、机器阅读理解发展路线
在此引用一张整个机器阅读理解发展的路线图，可以看到如上图最左边的话是最开始提出的各种各样的一些基于深度神经网络的模型，其中代表作有 BiDAF、R-NET，在第二阶段，其实会更加倾向去引入一些额外的语言模型做信息编码，因为引入的语言模型在不同的论文上都表现出了更好的潜力，也可以很好的增强现有的模型，其中会引入像 EMLo、CoQA 此类编码信息，这一块的输入在上述整个模型架构上已经做了一个简单的介绍，第三个阶段是以 Google 发布的 BERT 这种基于海量数据域训练的大规模的语言模型为时间点开始的。会发现基于这些语言模型在做下游任务的一个微调，也就是此处的 Pretraining ，其效果会更好，阿里小蜜也结合语言模型以及以前 SLQA 的工作做了一些整合和进一步的知识蒸馏,其实践在下一个部分会做一个具体的介绍。
