作者：韩信子@ShowMeAI，路遥@ShowMeAI，奇异果@ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/36
本文地址：http://www.showmeai.tech/article-detail/244
声明：版权所有，转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容

---

ShowMeAI为斯坦福CS224n《自然语言处理与深度学习(Natural Language Processing with Deep Learning)》课程的全部课件，做了中文翻译和注释，并制作成了GIF动图！视频和课件等资料的获取方式见文末。

---

授课计划

• Final project types and details; assessment revisited / 大项目细节
• Finding research topics; a couple of examples / 寻找研究主题
• Finding data / 项目数据
• Review of gated neural sequence models / 门控神经序列模型回顾
• A couple of MT topics / 机器翻译主题
• Doing your research / 研究方式
• Presenting your results and evaluation / 结果呈现和评估

1.大项目细节

1.1 Course work and grading policy

1.2 Mid-quarter feedback survey

1.3 最终项目

1.4 默认最终项目：基于SQuAD的问答系统

1.5 什么情况下选择默认项目

1.6 本节内容是相关的

• At a lofty level

  • 了解一些关于做研究的知识是有好处的

• At a prosaic level

  • 我们将接触到:

    • 基线
    • 基准
    • 评估
    • 错误分析
    • 论文写作
  • 这也是默认最终项目的一大特点

1.7 什么情况下选择Custom Final Project

1.8 项目提议与候选

1.9 项目进度

2.寻找研究主题

2.1 寻找研究主题

所有科学的两个基本出发点

• [钉子]从一个(领域)感兴趣的问题开始，并试图找到比目前已知的/使用的更好的方法来解决它。
• [锤子]从一个感兴趣的技术方法开始，找出扩展或改进它或应用它的好方法

2.2 项目类型

这不是一个详尽的列表，但大多数项目都是其中之一

$$1$$. 找到感兴趣的应用程序/任务，探索如何有效地接近/解决它，通常应用现有的神经网络模型

$$2$$. 实现了一个复杂的神经结构，并在一些数据上展示了它的性能

$$3$$. 提出一种新的或变异的神经网络模型，并探讨其经验上的成功

$$4$$. 分析项目。分析一个模型的行为：它如何表示语言知识，或者它能处理什么样的现象，或者它犯了什么样的错误

$$5$$. 稀有的理论项目：显示模型类型、数据或数据表示的一些有趣的、重要的属性

2.3 示例项目：Deep Poetry-诗歌生成

2.4 项目示例：Implementation and Optimization of Differentiable Neural Computers

2.5 项目示例：Improved Learning through Augmenting the Loss

2.6 项目示例：Word2bits - Quantized Word Vectors

2.7 如何寻找有趣的项目应用点

2.8 如何能够对算法优化突破

2.9 寻找一个主题

2.10 项目注意点

• 合适的数据

  • 通常目标:10000 +标记的例子里程碑
• 可行的任务
• 自动评估指标
• NLP是项目的核心

3.项目数据

3.1 寻找合适的数据

• 有些人会为一个项目收集他们自己的数据

  • 你可能有一个使用“无监督”数据的项目
  • 你可以注释少量的数据
  • 你可以找到一个网站，有效地提供注释，如喜欢，明星，评级等

• 有些人使用现有的研究项目或公司的数据

  • 如果你可以提供提交、报告等数据样本

• 大多数人使用现有的，由以前的研究人员建立的数据集

  • 你有一个快速的开始，有明显的前期工作和基线

3.2 数据：Linguistic Data Consortium

• https://catalog.ldc.upenn.edu/
• https://linguistics.stanford.edu/resources/resources-corpora

3.3 机器翻译

• http://statmt.org
• 特别要注意各种 WMT 共享任务

3.4 依存解析

• https://universaldependencies.org

3.5 其他

现在网上有很多其他的数据集可以用于各种各样的目的

• 看Kaggle
• 看研究论文

• 看数据集列表

4.门控神经序列模型回顾

4.1 再回顾一下GRU和机器翻译

4.2 BPTT反向传播

• 梯度消失问题十分严重

• 当梯度趋近于 时，我们无法判断

  • 数据中 和 之间不再存在依赖关系
  • 参数设置错误（梯度消失条件）

• 这是原始转换函数的问题吗？

• 有了它，时间导数就会消失

4.3 GRU模型

• 这意味着错误必须通过所有中间节点反向传播
• 或许我们可以创建快捷连接

我们可以创建自适应的快捷连接

• 候选更新
• 更新门
• 表示逐元素的乘法

让网络自适应地修剪不必要的连接

• 候选更新
• 重置门
• 更新门

• 门控循环单位更现实
• 注意，在思想和注意力上有一些重叠

• 两个最广泛使用的门控循环单位：GRU和LSTM

4.4 LSTM模型

• (绿色)LSTM门的所有操作都可以被遗忘/忽略，而不是把所有的东西都塞到其他所有东西上面
• (橙色)下一步的非线性更新就像一个RNN
• (紫色)这部分是核心（ResNets也是如此）不是乘，而是将非线性的东西和 相加得到 。，之间存在线性联络

5.机器翻译主题

5.1 神经翻译系统的词汇问题

• Softmax 计算代价昂贵

5.2 文本生成问题

• 词汇生成问题

  • 词汇量通常适中:50K

5.3 解决方法

• Hierarchical softmax : tree-structured vocabulary
• Noise-contrastive estimation : binary classification

• Train on a subset of the vocabulary at a time; test on a smart on the set of possible translations

  • 每次在词汇表的子集上进行训练，测试时自适应的选择词汇表的子集
  • Jean, Cho, Memisevic, Bengio. ACL2015

• Use attention to work out what you are translating

  • You can do something simple like dictionary lookup
  • 直接复制原句中的生词： “复制”模型

• More ideas we will get to : Word pieces; char. Models

5.4 机器翻译评估

• 人工(最好的!?)

  • Adequacy and Fluency 充分性和流畅性(5或7尺度)
  • 错误分类
  • 翻译排名比较（例如人工判断两个翻译哪一个更好）

• 在使用MT作为子组件的应用程序中进行测试

  • 如问答从外语文件
  • 无法测试翻译的很多方面(例如,跨语言IR)

• 自动度量

  • BLEU (双语评价替手)
  • Others like TER, METEOR, ……

5.5 BLEU评估标准

• N-gram 精度(得分在0和1之间)

  • 参考译文中机器译文的 N-gram 的百分比是多少?
  • 一个n-gram是由n个单词组成的序列
  • 在一定的n-gram水平上不允许两次匹配相同的参考译文部分(两个MT单词airport只有在两个参考单词airport时才正确；不能通过输入“the the the the the”来作弊)
  • 也要用 unigrams 来计算单位的精度，等等

• 简洁惩罚 BP

  • 不能只输入一个单词“the”(精确度1.0!)

• 人们认为要“玩弄”这个系统是相当困难的。例如找到一种方法来改变机器的输出，使BLEU上升，但质量不会下降。

• BLEU是一个加权的几何平均值，加上一个简洁的惩罚因子

  • 注意：只在语料库级起作用(0会杀死它)；句子级有一个平滑的变体
• 下图是 n-grams 1-4 的BLEU计算公式

5.6 BLEU实战

5.7 多参考翻译-Multiple Reference Translations

5.8 BLEU预估还不错

5.9 机器翻译自动评估

• 人们开始优化系统最大化BLEU分数

  • BLEU分数迅速提高
  • BLEU和人类判断质量之间的关系一直下降
  • MT BLEU分数接近人类翻译但是他们的真实质量仍然远低于人类翻译

• 想出自动MT评估已经成为自己的研究领域

  • 有许多建议:TER, METEOR, MaxSim, SEPIA，我们自己的RTE-MT
  • TERpA 是一个具有代表性的，好处理一些词的选择变化的度量

• MT研究需要一些自动的度量，以允许快速的开发和评估

6.研究方式

6.1 项目研究示例

$$1$$.. 定义任务

• 示例：总结

$$2$$. 定义数据集

• a) 搜索学术数据集

  • 他们已经有基线
  • 例如 Newsroom Summarization Dataset https://summari.es

• b) 定义你自己的数据(更难，需要新的基线)

  • 允许连接到你的研究
  • 新问题提供了新的机会
  • 有创意:Twitter、博客、新闻等等。有许多整洁的网站为新任务提供了创造性的机会

$$3$$. 数据集卫生

• 开始的时候，分离devtest and test
• 接下来讨论更多

$$4$$. 定义你的度量(s)

• 在线搜索此任务的已建立的度量
• 摘要: Rouge (Recall-Oriented Understudy for GistingEvaluation) ，它定义了人工摘要的 n-gram重叠
• 人工评价仍然更适合于摘要；你可以做一个小规模的人类计算

$$5$$. 建立基线

• 首先实现最简单的模型(通常对unigrams、bigrams 或平均字向量进行逻辑回归)
• 在训练和开发中计算指标

• 如果度量令人惊讶且没有错误，那么

  • 完成!问题太简单了。需要重启

$$6$$. 实现现有的神经网络模型

• 在训练和开发中计算指标
• 分析输出和错误
• 这门课的最低标准

$$7$$. 永远要接近你的数据（除了最后的测试集）

• 可视化数据集
• 收集汇总统计信息
• 查看错误
• 分析不同的超参数如何影响性能

$$8$$. 通过良好的实验设置，尝试不同的模型和模型变体，达到快速迭代的目的

• Fixed window neural model
• Recurrent neural network
• Recursive neural network
• Convolutional neural network
• Attention-basedmodel

7.结果呈现和评估

7.1 数据集

• 许多公开可用的数据集都是使用train/dev/test结构发布的。我们都在荣誉系统上，只在开发完成时才运行测试集

• 这样的分割假设有一个相当大的数据集

• 如果没有开发集或者你想要一个单独的调优集，那么你可以通过分割训练数据来创建一个调优集，尽管你必须权衡它的大小/有用性与训练集大小的减少

• 拥有一个固定的测试集，确保所有系统都使用相同的黄金数据进行评估。这通常是好的，但是如果测试集具有不寻常的属性，从而扭曲了任务的进度，那么就会出现问题。

7.2 训练模型与训练集

• 训练时,模型过拟合

  • 该模型正确地描述了你所训练的特定数据中发生的情况，但是模式还不够通用，不适合应用于新数据

• 监控和避免问题过度拟合的方法是使用独立的验证和测试集…

• 你在一个训练集上构建(评价/训练)一个模型。

• 通常，然后在另一个独立的数据集上设置进一步的超参数，即调优集

  • 调优集是用来调整超参数的训练集

• 在开发集(开发测试集或验证集)上度量进度

  • 如果你经常这样做，就会过度适应开发集，所以最好有第二个开发集，即dev2set

• 只有最后,你评估和最终数据在一个测试集

  • 非常少地使用最终测试集……理想情况下只使用一次

• 训练、调优、开发和测试集需要完全不同

• 在训练所使用的数据集上进行测试是无效的

  • 你将得到一个错误的良好性能。我们通常训练时会过拟合

• 你需要一个独立的调优

  • 如果调优与train相同，则无法正确设置超参数

• 如果你一直运行在相同的评价集，你开始在评价集上过拟合

  • 实际上，你是在对评估集进行“训练”……你在学习那些对特定的评估集有用和没用的东西，并利用这些信息

• 要获得系统性能的有效度量，你需要另一个未经训练的独立测试集，即 dev2 和最终测试

7.3 训练细节与建议

• 从积极的态度开始

  • 神经网络想要学习
  • 如果网络没有学习，你就是在做一些事情来阻止它成功地学习

• 认清残酷的现实

  • 有很多事情会导致神经网络完全不学习或者学习不好
  • 找到并修复它们(“调试和调优”)通常需要更多的时间，而不是实现你的模型

• 很难算出这些东西是什么

  • 但是经验、实验和经验法则会有所帮助！

7.4 关于学习率

7.5 关于参数初始化

7.6 训练一个RNN

$$1$$. 使用LSTM或GRU：它使你的生活变得更加简单！

$$2$$. 初始化递归矩阵为正交矩阵

$$3$$. 用一个可感知的(小的)比例初始化其他矩阵

$$4$$. 初始化忘记门偏差为1：默认记住

$$5$$. 使用自适应学习速率算法：Adam, AdaDelta，…

$$6$$. 梯度范数的裁剪：1-5似乎是一个合理的阈值，当与Adam 或 AdaDelta一起使用

$$7$$. 要么只使用 dropout vertically，要么研究使用Bayesian dropout(Gal和gahramani -不在PyTorch中原生支持)

$$8$$. 要有耐心！优化需要时间

7.7 实验策略

• 增量地工作！
• 从一个非常简单的模型开始
• 让它开始工作一个接一个地添加修饰物，让模型使用它们中的每一个(或者放弃它们)
• 最初运行在少量数据上

• 你会更容易在一个小的数据集中看到bug

  • 像8个例子这样的东西很好
  • 通常合成数据对这很有用
  • 确保你能得到100%的数据
  • 否则你的模型肯定要么不够强大，要么是破碎的

• 在大型数据集中运行

  • 模型优化后的训练数据仍应接近100%

    • 否则，你可能想要考虑一种更强大的模式来过拟合训练数据
    • 对训练数据的过拟合在进行深度学习时并不可怕
    • 这些模型通常善于一般化，因为分布式表示共享统计强度，和对训练数据的过度拟合无关

• 但是，现在仍然需要良好的泛化性能

  • 对模型进行正则化，直到它不与dev数据过拟合为止

    • 像L2正则化这样的策略是有用的
    • 但通常Dropout是成功的秘诀

7.8 模型细节

• 查看你的数据，收集汇总统计信息
• 查看你的模型的输出，进行错误分析
• 调优超参数对于神经网络几乎所有的成功都非常重要

7.9 项目总结

7.10 祝你项目顺利

8.视频教程

可以点击 B站 查看视频的【双语字幕】版本

9.参考资料

• 本讲带学的在线阅翻页本
• 《斯坦福CS224n深度学习与自然语言处理》课程学习指南
• 《斯坦福CS224n深度学习与自然语言处理》课程大作业解析
• 【双语字幕视频】斯坦福CS224n | 深度学习与自然语言处理(2019·全20讲)
• Stanford官网 | CS224n: Natural Language Processing with Deep Learning

ShowMeAI 系列教程推荐

• 大厂技术实现 | 推荐与广告计算解决方案
• 大厂技术实现 | 计算机视觉解决方案
• 大厂技术实现 | 自然语言处理行业解决方案
• 图解Python编程：从入门到精通系列教程
• 图解数据分析：从入门到精通系列教程
• 图解AI数学基础：从入门到精通系列教程
• 图解大数据技术：从入门到精通系列教程
• 图解机器学习算法：从入门到精通系列教程
• 机器学习实战：手把手教你玩转机器学习系列
• 深度学习教程 | 吴恩达专项课程 · 全套笔记解读
• 自然语言处理教程 | 斯坦福CS224n课程 · 课程带学与全套笔记解读

自然语言处理(NLP)系列教程

• NLP教程(1)- 词向量、SVD分解与Word2vec
• NLP教程(2)- GloVe及词向量的训练与评估
• NLP教程(3)- 神经网络与反向传播
• NLP教程(4)- 句法分析与依存解析
• NLP教程(5)- 语言模型、RNN、GRU与LSTM
• NLP教程(6)- 神经机器翻译、seq2seq与注意力机制
• NLP教程(7)- 问答系统
• NLP教程(8)- NLP中的卷积神经网络
• NLP教程(9)- 句法分析与树形递归神经网络

斯坦福 CS224n 课程带学详解

• 斯坦福NLP课程 | 第1讲 - NLP介绍与词向量初步
• 斯坦福NLP课程 | 第2讲 - 词向量进阶
• 斯坦福NLP课程 | 第3讲 - 神经网络知识回顾
• 斯坦福NLP课程 | 第4讲 - 神经网络反向传播与计算图
• 斯坦福NLP课程 | 第5讲 - 句法分析与依存解析
• 斯坦福NLP课程 | 第6讲 - 循环神经网络与语言模型
• 斯坦福NLP课程 | 第7讲 - 梯度消失问题与RNN变种
• 斯坦福NLP课程 | 第8讲 - 机器翻译、seq2seq与注意力机制
• 斯坦福NLP课程 | 第9讲 - cs224n课程大项目实用技巧与经验
• 斯坦福NLP课程 | 第10讲 - NLP中的问答系统
• 斯坦福NLP课程 | 第11讲 - NLP中的卷积神经网络
• 斯坦福NLP课程 | 第12讲 - 子词模型
• 斯坦福NLP课程 | 第13讲 - 基于上下文的表征与NLP预训练模型
• 斯坦福NLP课程 | 第14讲 - Transformers自注意力与生成模型
• 斯坦福NLP课程 | 第15讲 - NLP文本生成任务
• 斯坦福NLP课程 | 第16讲 - 指代消解问题与神经网络方法
• 斯坦福NLP课程 | 第17讲 - 多任务学习(以问答系统为例)
• 斯坦福NLP课程 | 第18讲 - 句法分析与树形递归神经网络
• 斯坦福NLP课程 | 第19讲 - AI安全偏见与公平
• 斯坦福NLP课程 | 第20讲 - NLP与深度学习的未来