附录 V：问题的答案
第一章，什么是转换器？
- 我们仍处于第三次工业革命。 (True/False)
False. 历史上的时代确实有重叠。然而，第三次工业革命着眼于使世界数字化。第四次工业革命已经开始将所有事物连接到一起：系统、机器、机器人、机器人、算法等等。 - 第四次工业革命正在将所有事物连接在一起。 (True/False)
True. 这导致了越来越多的自动决策，以前需要人为干预。 - 工业 4.0 开发者有时可能没有 AI 开发要做。 (True/False)
True. 在某些项目中，AI 将是一个不需要开发的在线服务。 - 工业 4.0 开发者可能需要从头开始实现转换器。 (True/False)
True. 在某些项目中，并非所有标准在线服务或 API 都能满足项目的需求。在某些情况下，项目可能没有一个令人满意的解决方案。相反，开发者将不得不大幅度定制模型并从头开始工作。 - 没有必要学习超过一个转换器生态系统，例如 Hugging Face。 (True/False)
False. 一个公司的政策可能是只与 Google Cloud AI 或 Microsoft Azure AI 合作。Hugging Face 可能是另一家公司使用的工具。你事先不知道，而且在大多数情况下也不能决定。 - 一个即用即用的转换器 API 可以满足所有需求。 (True/False)
如果有效则为 True。如果转换器模型训练不良，则为 False。 - 一家公司将接受开发者最擅长的转换器生态系统。 (True/False)
False. 一家公司可能接受也可能不接受开发者建议的内容。因此，尽可能多地涵盖各方面是更安全的做法。 - 云转换器已成为主流。 (True/False)
True. - 转换器项目可以在笔记本电脑上运行。 (True/False)
例如原型为 True。对于涉及成千上万用户的项目为 False。 - 工业 4.0 AI 专家将不得不更加灵活 (True/False)
True.
第二章，开始学习转换器模型的架构
- NLP 转换可以对文本表示进行编码和解码。 (True/False)
True. NLP 是将序列（书面或口头）转换为数字表示形式的转换，对其进行处理，并将结果解码回文本。 - 自然语言理解（NLU）是自然语言处理（NLP）的子集。 (True/False)
True. - 语言建模算法根据输入序列生成可能的单词序列。 (True/False)
True. - 转换器是带有 CNN 层的定制 LSTM。 (True/False)
False. 转换器根本不包含 LSTM 或 CNN。 - 转换器不包含 LSTM 或 CNN 层。 (True/False)
True. - 注意检查序列中的所有标记，而不仅仅是最后一个。 (True/False)
True. - 转换器不使用位置编码。 (True/False)
假的。一个Transformers使用位置编码。 - Transformers包含一个前馈网络。（真/假）
真的。 - Transformers解码器的掩码多头注意力组件防止算法分析正在处理的序列的给定位置时看到其余序列的其余部分。（真/假）
真的。 - Transformers可以更好地分析长距离依赖关系，优于 LSTMs。（真/假）
真的。
第三章，《对 BERT 模型进行微调》
- BERT 代表双向编码器来自Transformers。（真/假）
真的。 - BERT 是一个两步框架。第一步是预训练。第二步是微调。（真/假）
真的。 - 对 BERT 模型进行微调意味着从头开始训练参数。（真/假）
假的。BERT 微调是使用预训练的训练参数初始化的。 - BERT 只通过所有下游任务进行预训练。（真/假）
假的。 - BERT 预训练基于掩码语言模型（MLM）。（真/假）
真的。 - BERT 的预训练基于下一句预测（NSP）。（真/假）
真的。 - BERT 预训练基于数学函数。（真/假）
假的。 - 一个问题-答案任务是下游任务。（真/假）
真的。 - BERT 预训练模型不需要标记化。（真/假）
假的。 - 对 BERT 模型进行微调所需时间比预训练时间短。（真/假）
真的。
第四章，《从头开始预训练 RoBERTa 模型》
- RoBERTa 使用字节级字节对编码分词器。（真/假）
真的。 - 一个经过训练的 Hugging Face 分词器会产生
merges.txt和vocab.json。（真/假）
真的。 - RoBERTa 不使用标记类型 ID。（真/假）
真的。 - DistilBERT 有 6 层和 12 个头。（真/假）
真的。 - 一个拥有 8000 万参数的Transformers模型是巨大的。（真/假）
假的。8000 万参数是一个小型模型。 - 我们不能训练分词器。（真/假）
假的。分词器可以被训练。 - 类似 BERT 的模型有六个解码器层。（真/假）
假的。BERT 包含六个编码器层，而不是解码器层。 - MLM 预测句子中包含在掩码标记内的单词。（真/假）
真的。 - 类似 BERT 的模型没有自注意力子层。（真/假）
假的。BERT 有自注意力层。 - 数据收集器对于反向传播很有帮助。（真/假）
真的。
第五章，《使用Transformers进行下游 NLP 任务》
- 机器智能使用与人类相同的数据来作出预测。（真/假）
真的和假的。
真的。在某些情况下，机器智能在处理海量数据以提取含义并执行一系列任务时超越人类，而这些任务人类需要花几个世纪的时间来完成。
假的。对于 NLU，人类通过他们的感官可以获取更多信息。机器智能依赖于人类提供的各种媒体。 - SuperGLUE 对于 NLP 模型来说比 GLUE 更困难。（真/假）
真的。 - BoolQ 期望一个二进制答案。（真/假）
真的。 - WiC 代表的是上下文中的单词。（真/假）
真的。 - Recognizing Textual Entailment（RTE）用于检测一个序列是否蕴涵另一个序列。（真/假）
真的。 - 一个 Winograd 模式可以预测动词是否拼写正确。（真/假）
假。Winograd 模式主要适用于代词消歧。 - Transformer 模型目前占据 GLUE 和 SuperGLUE 的前几名。（真/假）
真。 - 人类基准标准并不是一成不变的。SuperGLUE 使其更加难以达到。（真/假）
真。 - Transformer 模型永远不会超越 SuperGLUE 人类基准标准。（真/假）
真和假。
假。Transformer 模型击败了 GLUE 的人类基准，并将来也将击败 SuperGLUE。
真。随着我们在 NLU 领域的进展，我们将继续设定更高的基准标准。 - 变种的 transformer 模型已经超越了 RNN 和 CNN 模型。（真/假）
真。但你永远不知道在 AI 中将会发生什么！
第六章，《使用 Transformer 进行机器翻译》
- 机器翻译现在已经超过了人类基准。（真/假）
假。机器翻译是最具挑战性的 NLP ML 任务之一。 - 机器翻译需要大型数据集。（真/假）
真。 - 不需要使用相同的数据集比较 Transformer 模型。（真/假）
假。比较不同模型的唯一方法是使用相同的数据集。 - BLEU 是法语单词，意思是蓝色，并且是 NLP 度量标准的首字母缩写。（真/假）
真。BLEU代表双语评估辅助分数，这样很容易记住。 - 平滑技术增强了 BERT。（真/假）
真。 - 对于机器翻译，德语-英语与英语-德语是相同的。（真/假）
假。首先表示德语，然后翻译成其他语言并不同于表示英语再翻译为另一种语言。语言结构不同。 - 最初的 Transformer 多头注意力子层有两个头。（真/假）
假。每个注意力子层有八个头。 - 最初的 Transformer 编码器有六层。（真/假）
真。 - 最初的 Transformer 编码器有六层，但只有两个解码层。（真/假）
假。有六个解码器层。 - 可以训练没有解码器的 transformer。（真/假）
真。BERT 的结构只包含编码器。
第七章，《GPT-3 引擎的超人类Transformers崛起》
- 零-shot 方法只需一次训练参数。（真/假）
假。没有训练参数。 - 在运行零-shot 模型时执行梯度更新。（真/假）
假。 - GPT 模型只有一个解码器堆叠。（真/假）
真。 - 在本地机器上训练 117M GPT 模型是不可能的。（真/假）
假。我们在本章中训练了一个。 - 不可能使用特定数据集训练 GPT-2 模型。（真/假）
假。我们在本章中训练了一个。 - 一个 GPT-2 模型不能被约束来生成文本。（真/假）
假。我们在本章中实施了这一点。 - 一个 GPT-2 模型可以分析输入的上下文并生成完成的内容。（真/假）
真。 - 我们不能在拥有少于八个 GPU 的机器上与一个 345M GTP 参数模型交互。 (True/False).
假的。我们在本章中与这个尺寸的模型交互过。 - 拥有 285,000 个 CPU 的超级计算机不存在。 (True/False)
假的。 - 拥有成千上万个 GPU 的超级计算机是 AI 中的游戏变革者。 (True/False)
真的。由于这一点，我们将能够构建参数和连接数量逐渐增加的模型。
第八章，将转换器应用于法律和财务文件以进行 AI 文本摘要
- T5 模型只有像 BERT 模型一样的编码器栈。 (True/False)
假的。 - T5 模型既有编码器栈，又有解码器栈。 (True/False)
真的。 - T5 模型使用相对位置编码，而不是绝对位置编码。 (True/False)
真的。 - 文本-文本模型只设计用于摘要。 (True/False)
假的。 - 文本-文本模型将一个前缀应用到输入序列，用来确定 NLP 任务。 (True/False)
真的。 - T5 模型对每个任务需要具体的超参数。 (True/False)
假的。 - 文本-文本模型的优势之一是它们对所有 NLP 任务使用相同的超参数。 (True/False)
真的。 - T5 转换器不包含前馈网络。 (True/False)
假的。 - Hugging Face 是一个让转换器更容易实现的框架。 (True/False)
真的。 - OpenAI 的转换器引擎是游戏变革者。 (True/False)
真的。OpenAI 已经开发了一系列可供使用的引擎，如 Codex（从语言到代码）或 Davinci（通用引擎）。
第九章，匹配分词器和数据集
- 一个分词的词典包含了一种语言中存在的每个单词。 (True/False)
假的。 - 预训练分词器可以对任何数据集进行编码。 (True/False)
假的。 - 在使用数据库之前检查数据库是个好习惯。 (True/False)
真的。 - 从数据集中消除淫秽数据是个好习惯。 (True/False)
真的。 - 删除包含歧视性言论的数据是个好习惯。 (True/False)
真的。 - 原始数据集有时可能会产生嘈杂内容和有用内容之间的关系。 (True/False)
真的。 - 一个标准的预训练分词器包含了过去 700 年的英语词汇。 (True/False)
假的。 - 古英语在使用现代英语训练的分词器对数据进行编码时可能会产生问题。 (True/False)
真的。 - 医学和其他类型的行话在使用现代英语训练的分词器对数据进行编码时会产生问题。 (True/False)
真的。 - 控制预训练分词器生成数据的输出是个好习惯。 (True/False)
真的。
第十章，基于 BERT 的转换器进行语义角色标注
- 语义角色标注 (SRL) 是一个文本生成任务。 (True/False)
假的。 - 谓语是一个名词。 (True/False)
假的。 - 动词是谓语。 (True/False)
真的。 - 论点可以描述谁和什么正在做某事。 (True/False)
真的。 - 一个修饰语可以是一个副词。 (True/False)
真的。 - 一个修饰语可以是一个地点。 (True/False)
真的。 - 基于 BERT 的模型包含编码器和解码器堆栈。（真/假）
假。 - 基于 BERT 的 SRL 模型具有标准的输入格式。（真/假）
真。 - Transformers可以解决任何 SRL 任务。（真/假）
假。
第十一章，让你的数据说话：故事，问题和答案
- 训练过的Transformers模型可以回答任何问题。（真/假）
假。 - 问答不需要进一步的研究。它已经完美了。（真/假）
假。 - 命名实体识别（NER）在寻找有意义的问题时可以提供有用的信息。（真/假）
真。 - 语义角色标注（SRL）在准备问题时是无用的。（真/假）
假。 - 问题生成器是产生问题的绝妙方法。（真/假）
真。 - 实施问答需要谨慎的项目管理。（真/假）
真。 - ELECTRA 模型与 GPT-2 具有相同的架构。（真/假）
假。 - ELECTRA 模型与 BERT 具有相同的架构，但被训练为辨别器。（真/假）
真。 - NER 可以识别地点并将其标记为 I-LOC。（真/假）
真。 - NER 可以识别一个人并将该人标记为 I-PER。（真/假）
真。
第十二章，检测客户情绪以做出预测
- 不需要为情感分析预训练Transformers。（真/假）
假。 - 一个句子总是积极或消极的。它不能是中性的。（真/假）
假。 - 合成性原则意味着Transformers必须理解句子的每个部分才能理解它。（真/假）
真。 - RoBERTa-large 旨在改进Transformers模型的预训练过程。（真/假）
真。 - 一个Transformers可以提供反馈，告诉我们客户是否满意。（真/假）
真。 - 如果产品或服务的情感分析始终是负面的，它可以帮助我们做出改进我们提供的建议的适当决定。（真/假）
真。 - 如果一个模型在某项任务上无法提供好的结果，那么在更换模型之前需要更多的训练或微调。（真/假）
真。
第十三章，使用Transformers分析假新闻
- 标记为假新闻的新闻总是假的。.（真/假）
假。 - 大家都同意的新闻总是准确的。（真/假）
假。 - Transformers可以用于对推文进行情感分析。（真/假）
真。 - 用 DistilBERT 模型运行 NER 可以从 Facebook 消息中提取关键实体。（真/假）
真。 - 从运行 SRL 的基于 BERT 模型的 YouTube 聊天中可以识别关键动词。（真/假）
真。 - 情感反应是对假新闻的自然第一反应。（真/假）
真。 - 对假新闻的理性处理可以帮助澄清自己的立场。（真/假）
真。 - 连接Transformers到可靠的网站可以帮助某人理解为什么一些新闻是假的。（真/假）
真。 - Transformers可以对可靠网站进行摘要，帮助我们了解一些被标记为假新闻的主题。（真/假）
真。 - 如果你为了我们所有人的利益使用人工智能，你可以改变世界。（真/假）
真。
第十四章，解释黑匣子Transformers模型
- BERTViz 只显示了 BERT 模型的最后一层的输出。（真/假）
假。 BERTViz 显示所有层的输出。 - BERTViz 显示了 BERT 模型每个层的注意力头。（真/假）
真。 - BERTViz 显示令牌之间的关系。（真/假）
真。 - LIT 显示了注意力头的内部工作，就像 BERTViz 一样。（真/假）
假。然而，LIT 进行非探测性预测。 - 探测是一种算法预测语言表示的方法。（真/假）
真。 - NER 是一个探测任务。（真/假）
真。 - PCA 和 UMAP 是非探测任务。（真/假）
真。 - LIME 是模型不可知的。（真/假）
真。 - Transformers通过逐层加深令牌之间的关系。（真/假）
真。 - 可视化Transformers模型解释为可解释的人工智能增加了一个新维度。（真/假）
真。
第十五章，从自然语言处理到任务不可知的Transformers模型
- Reformer Transformers模型不包含编码器。（真/假）
假。Reformer Transformers模型��含编码器。 - Reformer Transformers模型不包含解码器。（真/假）
假。Reformer Transformers模型包含编码器和解码器。 - 在 Reformer 模型中，输入按层存储。（真/假）
假。输入在每个级别重新计算，从而节省内存。 - DeBERTa Transformers模型解缠了内容和位置。（真/假）
真。 - 在选择项目的预训练Transformers模型之前，有必要测试成百上千个模型。（真/假）
真和假。你可以尝试所有的模型，或者你可以选择一个非常可靠的模型并实施它以适应你的需求。 - 最新的Transformers模型总是最好的。（真/假）
真和假。关于Transformers有很多研究，但是一些实验模型寿命很短。然而，有时最新的模型超出了前期模型的性能。 - 每个自然语言处理任务最好有一个Transformers模型，而不是一个多任务Transformers模型。（真/假）
真和假。这是你必须做出的个人决定。风险评估是项目的关键方面。 - Transformers模型总是需要进行微调。（真/假）
假。GPT-3 引擎是零-shot 模型。 - OpenAI GPT-3 引擎可以执行各种自然语言处理任务，不需要进行微调。（真/假）
真。 - 在本地服务器上实施 AI 算法总是更好的。（真/假）
假。这取决于你的项目。这是你必须做出的风险评估。
第十六章，Transformers驱动副驾驶的出现
- 能够自动生成代码的 AI 副驾驶不存在。（真/假）
假。比如，GitHub Copilot 现在正在使用中。 - AI 副驾驶永远不会取代人类。（真/假）
真和假。人工智能将接管许多销售、支持、维护和其他领域的任务。然而，许多复杂的任务仍然需要人类干预。 - GPT-3 引擎只能执行一个任务。(True/False)
False. GPT-3 引擎可以执行各种各样的任务。 - Transformers 可以被训练成推荐者。(True/False)
True. Transformers 已经从语言序列转变为许多领域的序列。 - Transformers 只能处理语言。(True/False)
False. 一旦 Transformer 被训练为处理语言序列，它们可以分析许多其他类型的序列。 - 一个 Transformer 序列只能包含单词。(True/False)
False. 一旦语言序列被处理，Transformer 只能处理数字，而不是单词。 - 视觉 Transformer 不能与 CNN 相提并论。(True/False)
False. Transformers 是深度神经网络，可以与 CNN 在计算机视觉上相媲美。 - 具有计算机视觉的 AI 机器人不存在。(True/False)
False. 例如，具有计算机视觉的机器人已经开始在军事应用中出现。 - 自动产生 Python 源代码是不可能的。(True/False)
False. 微软和 OpenAI 联合生产了一个可以与我们一起或为我们编写 Python 代码的副驾驶。 - 我们有一天可能会成为机器人的副驾驶员。(True/False)
这可能是真的也可能是假的。这仍然是人类、机器人和不断发展的 AI 生态系统中的一个挑战。
加入我们书籍的 Discord 空间。
加入该书的 Discord 工作空间，每月与作者进行一次问答活动：
