第三章
分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类：一类叫_；另一类叫_。(P43)主节点/名称节点，从节点/数据节点 HDFS采用抽象的块概念可以简化系统设计，适合数据备份，但不可以支持大规模文件存储。 错误 P46 在HDFS中，名称节点负责管理分布式文件系统的命名空间，保存了两个核心的数据结构，即_和_。(P46)FsImage，EditLog 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，这些节点分为两类:一类叫主节点,另一类叫从节点。
HDFS在设计上采取了多种机制保证在硬件出错的环境中实现数据的完整性。总体而言，HDFS要实现以下目标：____。(P45) D (1)兼容廉价的硬件设备 (2)流数据读写 (3)大数据集 4)复杂的文件模型 5)强大的跨平台兼容性 A. (1)(2)(3)(4) B. 1)(2)(4)(5) C. 2)(3)(4)(5) D. 1)(2)(3)(5)
HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用局限性，主要包括以下几个方面：_。(P45) AB 不适合低延迟数据访问 无法高效存储大量小文件 不支持单用户写入及任意修改文件 硬件设备昂贵 为了保证系统的容错性和可用性，HDFS采用了多副本方式对数据进行冗余存储，这种多副本方式具有以下几个优点：_。(P50)BCD 容易修改数据问题 加快数据传输速度 保证数据的可靠性 容易检查数据错误
1.HDFS采用块的概念，默认的一个块大小是64MB。 ( ) (P46) √ 2.在HDFS的设计中，第二名称节点起到了名称节点的“检查点”和“热备份”的作用，因为有了第二名称节点的存在，当名称节点发生故障时，系统就不会丢失元数据信息。 ( ) (P48)× HDFS把硬件出错看成一种常态，设计了错误恢复机制。 P60 对
第四章 填空 1.HBase是针对谷歌BigTable的开源实现，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。 P63 选择 2.BigTable是一个分布式存储系统，利用谷歌提出的_分布式并行计算模型来处理海量数据。 P63 MapReduce 3.HBase只有一个索引——_，通过巧妙的设计，HBase中的所有访问方法，或者通过行健访问，或者通过行健扫描，从而使得整个系统不会慢下来。 P65 行健 4.____是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求。 选择 P75 Region服务器
判断 1.BigTable是一个分布式存储系统，使用谷歌分布式文件系统MapReduce作为底层数据存储。 错 P63 2.分布式数据库HBase的数据类型只有字符串。 对 P64 3.HBase操作不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等。
对 P64 4.在HBase中执行更新操作时，会在生成一个新版本之前删除数据旧的版本。 P65 错 5.HBase的系统架构中的客户端是指用户。 P74 错
单选 1.当一个客户端从Zookeeper服务器上拿到-ROOT-表的地址以后，就可以通过__找到用户数据表所在的Region服务器，并直接访问该Region服务器获得数据。 A.一级寻址 B.二级寻址 C.三级寻址 D.四级寻址 P74 C
多选 1.HBase的实现包括3个主要的功能组件：____。 A.库函数 B.一个Master主服务器 C.一个Region服务器 D.许多个Region服务器 ABD P71
第五六章 下列选项中(B)不是NoSQL数据库的特点。 灵活的可扩展性 B.动态的数据迁移 C.与云计算紧密融合 D.灵活的数据模型 NoSQL的英文全称(Not only Structual Query Language)。 NoSQL的英文全称为 No Structual Query Language。× 关系数据库无法满足Web2.0的需求主要表现在哪几个方面(ACD) 无法满足海量数据的管理需求 无法满足数据完整性的需求 无法满足数据高并发性的需求 无法满足高可扩展性和高可用性的需求 与分布式对应的方式是(集中式) Hadoop属于开发运行环境中的运行环境。√ 为保证一致性，关系数据库遵守ACID模型，NoSQL数据库遵守BASE模型。√ NoSQL数据库的明显优势在于(BCD)。 实现数据完整性 支持超大规模数据存储 灵活的数据模型可以很好的支持Web2.0应用 具有强大的横向扩展能力 Web2.0网站系统通常要求严格的数据库事务。× NoSQL的四大类型为键值数据库、(列族数据库)、文档数据库、图数据库 下列选项中(C)不是文档数据库的优点。 性能好 B.灵活性高 C.统一的查询语法 D.数据结构灵活 NoSQL的三大基石包括(CAP、BASE、最终一致性)。 CAP中的C与CAID中的C的含义一样。× NewSQL这类数据库不仅具有NoSQL对海量数据的存储管理能力，还保持了传统数据库支持ACID和SQL等特性。√ 最终一致性根据更新数据后各进程访问到数据的时间和方式的不同，可以进行区别。下列说法正确的是(ABCD)。 因果一致性 “读己之所写”一致性 会话一致性 单调一致性 “软状态”是指(状态可以有一段时间不同步，具有一定的滞后性)。 云计算八大优势为按需服务、随时服务、通用性、(高可靠性)、极其廉价、超大规模、(虚拟化)、高扩展性。 云计算主要包括3种类型，即(IaaS、PaaS、SaaS)。 云计算可同时为众多用户提供服务。√ 下列关于云数据库的特点，错误的是(A)。 高可靠性 B.高可扩展性 C.采用多租形式 D.支持资源有效分布 关系数据库采用(关系数据)模型，NoSQL数据库采用(非关系数据)模型。 云数据库有专属与自己的数据模型。× UMP系统是低成本和高性能的MySQL数据库方案，关键模块采用Erlang语言实现。√ 下列为UMP系统架构设计遵循的原则的是(ABCD)。 保持单一的系统对外入口，并且为系统内部维护单一的资源池 保持单一故障，保证服务的高可用性 保证系统具有良好的可伸缩性，能够动态地增加、删减计算与存储节点 保证分配给用户的资源是弹性可伸缩的，资源之间相互隔离，保证应用和数据的安全 Mnesia是一个集中式数据库管理系统。× 下列选项不属于Zookeeper主要发挥的作用的是(D)。 作为全局的配置服务器 提供分布式锁 监视所有MySQL实例 支持透明的数据分片 UMP系统借助于()来实现集群内部的负载均衡。 Mnesia B.Zookeeper C.LVS D.Controller服务器 UMP系统功能为(容灾)、读写分离、资源管理、资源调度、(资源隔离)和数据安全。 UMP系统只为一个用户创建一个MySQL实例。× 资源池是为MySQL实例分配资源的基本单位。√ UMP系统采用哪两种资源隔离方式(AB)。 用Cgroup限制MySQL进程资源 在Proxy服务器限制QPS 通过MySQL实例的迁移 采用资源池机制管理数据库服务器资源 UMP系统是如何保障数据安全的(ABCD)。 SQL拦截 记录用户操作日志 数据访问IP白名单 SSL数据库连接 RDS英文全称为(Relational Database Service)。 RDS实例或简称“实例”，是用户购买RDS服务的基本单位。√ 在用户购买RDS实例时，所选择的内存大小已经决定了该实例的最大连接数。√ 新建RDS账号，MySQL实例支持最多创建20个账号，SQL Server实例支持最多创建50个账号。× 下列哪个不是连接RDS for MySQL数据库的方法(C)。 使用客户端MySQL-Front访问 使用数据库管理工具Navicat MySQL 使用Shell命令登录 使用阿里云控制台iDB Cloud访问 HBase采用“四维坐标”定位一个单元格。√ 行键是按照字典序存储。√ 访问HBase表中的行有哪几种方式(ABD)。 通过单个行键访问 通过一个行键的区间来访问 直接读取 全表扫描 41.colFamily指的是(列族)。
第七章 填空： 1.MapReduce的核心函数：__ 答案：P132 Map Reduce 2.MapReduce的核心思想可以用_来描述。 答案：P134 分而治之 3.MapReduce整个工作流程的核心环节是_过程。 答案：P136 Shuffle 4.Shuffle过程分为_端的操作和_端的操作。 答案：P136 Map Reduce 5.MapReduce是_编程框架。 答案：P131 分布式并行 6.MapReduce的处理单位是_ 答案：P课件15 split
7.大规模数据集的处理包括__和______两个核心环节。 答案：P134 分布式存储 分布式计算
单选： 1.Hadoop框架是用(C)实现的。 P133 A.C B.C++ C.java D.VB 2.以下哪项不是MapReduce体系结构的主要组成部分(D) P课件9 A.Client B.JobTracker C.TaskTracker D.TaskScheduler 3.每个Map任务分配一个缓存，MapReduce默认缓存是(A) P137 A.100MB B.80MB C.120MB D.200MB 4.以下哪项不属于步骤不包含在溢写过程中(B) P137 A.分区 B.归并 C.排序 D.合并 5.Reduce从(C)读取数据。 P135 A.本地存储 B.磁盘 C.硬盘 D.主存 6.Map任务的输入文件、Reduce任务的处理结果都是保存在(A)的。P135 A.分布式文件系统 B.本地存储 C.硬盘 D.主存
多选： 1.下面关于MapReduce工作流程说法正确的是(ABD) P135 A.不同的Map任务之间不会进行通信。 B.不同的Reduce任务之间也不会发生任何信息交换。 C.用户能显式的从一台机器向另一台机器发送信息 D.所有的数据交换都是通过MapReduce框架自身去实现的。 2.Map端的Shuffle过程包括以下哪几个步骤。(ABCD) P136 A.输入数据和执行Map任务 B.写入缓存 C.溢写(分区、排序、合并) D.文件归并 3.Reduce端的Shuffle过程包括(ABD) P138 A.“领取”数据 B.归并数据
C.溢写 D.把数据输入到Reduce任务 4.基于MapReduce模型的关系上的标准运算,包括(ABCD) P142 A.选择运算 B.投影运算 C.并、交、差运算 D.自然连接运算 5.MapReduce执行的全过程包括以下几个主要阶段(ABCD) P151
A.从分布式文件系统读入数据 B.执行Map任务输出中间结果 C.通过Shuffle阶段把中间结果分区排序整理后发送给Reduce任务 D.执行Reduce任务得到最终结果并写入分布式系统文件 6.MapReduce的广泛应用包括(ABCD) P151 A.关系代数运算 B.分组与聚合运算 C.矩阵-向量乘法 D.矩阵乘法 7.与传统并行计算框架相比，以下哪些是MapReduce的优势(ABC) P课件6 A.非共享式，容错性好 B.普通PC机，便宜，扩展性好 C.编程/学习难度较简单 D.实时、细粒度计算、计算密集型
判断： 1.MapReduce设计的一个理念是“计算向数据靠拢”,而不是“数据向计算靠拢” (√) P133 2.MapReduce程序一定要用java来写。 (×) P133 3.Map函数和Reduce函数都是以作为输入(√) P133
4.Shuffle过程是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。 (√) P136 5.Map端的所有Shuffle过程结束后，所有Map输出结果都保存在Map机器的本地磁盘上 (√) P138 6.词频计算是典型的分组聚合运算。 (√) P144 7.MapReduce运行在分布式文件系统GFS上。 (√) P132 8.MapReduce是Hadoop MapReduce的开源实现。 (×) P132 9.MapReduce框架采用了Master/Slave架构，包括一个Master和若干个Slave。Master上运行JobTracker，Slave上运行TaskTracker . (√) P课件7 split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。 (√) P课件15
第八章 单选 1.JobTracker的三大功能不包括(D) P160 A.资源管理 B.任务调度 C.任务监控 D.调度Map/Reduce任务的执行
多选 1.Hadoop1.0的核心组件主要存在以下不足(ABCD)P155 A.难以看到程序整体逻辑 B.开发者自己管理作业之间的依赖关系 C.执行迭代操作效率低 D.资源浪费 2.以下(ACD)产品使Hadoop功能更加完善. P156 A.Pig B.QJM C.Tez D.Oozie 3.采用HDFS联邦的设计方式，可解决单名称节点以下问题(ABD) P159 A.HDFS集群可扩展性 B.性能更高效 C.单点故障问题 D.良好的隔离性 4.MapReduce1.0架构设计具有一些很难克服的缺陷，包括(ABCD) P160 A.存在单点故障 B.JobTracker“大包大揽”导致任务过重 C.容易出现内存溢出 D.资源划分不合理 填空 1.MapReduce1.0采用_架构设计，包括一个__JobTracker___和若干个____TaskTracker___ 答案：Master/Slave P159 2.YARN体系结构中包含了三个组件：__ResourceManager ___、_______、 NodeManager ______ 答案： ApplicationMaster P161
判断 1.Tez支持DAG作业的计算框架，对作业的操作进行重新分解和组合，解决了不同的MapReduce任务之间存在重复操作，降低效率的问题。 (√) P156 2.相对于之前的HDFS10而言，HDFS2.0增加了HDFS HA和HDFS联邦等新特性。 (√) P156 3.HDFS HA提供两个名称节点，很好的解决了可扩展性、系统性能和隔离性三个方面的问题。(×) P158 4.HDFS联邦是真正的分布式设计。(×) P158 5.HDFS HA本质上不是单名称节点。 (×) P158 6.MapReduce1.0中资源被强制等量划分为多个“槽”,槽又被进一步划分为Map槽和Reduce槽，分别供Map任务和Reduce任务使用，彼此之间能使用分配给对方的槽。 (×) P160 YARN架构设计基本思路就是“放权” (√) P160
第九十章 1.以下属于Spark的主要特点的是：()。 A.运行速度快 B.容易使用 C.通用性 D.运行模式多样 ABCD 2.Spark使用_执行引擎。 DAG 3.Scala是一门现代的多范式编程语言，平滑的集成了___和___的特性，旨在以简练优雅的方式来表达常用编程模式。 面向对象，函数式 4.Spark的主要编程语言是：()。 A.Java B.Scala C.Python D.R B 5.大数据处理主要包括三个类型，分别是：()。 A.复杂的批量数据处理 B.基于历史数据的交互式查询 C.基于实时数据流的数据处理 D.集成数据 ABC 6.RDD是___数据集。是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。 弹性分布式 7.___是作业调度的基本单位。 阶段 8.一个作业包含多个RDD及作用于相应RDD上的各种操作()。 √ 9.以下不属于hadoop存在的缺点的是：()。 A.表达能力有限 B.编程模式灵活 C.磁盘IO开销大 D.延迟高 ACD 10.RDD提供了一组丰富的操作以支持常见的数据运算，分为“行动”(Action)和“转换”(Translation)()。 √ 11.Spark并不能完全替代Hadoop，主要用于替代Hadoop中的MapReduce计算模型()。 √ 12.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案()。 √ 13.RDD本质上是一个支持读写的分区记录集合，可以直接修改()。 × 14.RDD采用了惰性调用，即在RDD执行过程中，真正的计算发生在RDD的“行动”操作，对于“行动”之前的所有“转换”操作，Spark只是记录下“转换”操作应用的一些基础数据集以及RDD生成的轨迹，不会触发真正的计算。()。 √ 15.目前Spark支持三种不同类型的部署方式，包括_、__、_。 standalone、Spark on Mesos、Spark on YARN。 16.在许多企业实际应用中，Hadoop和Spark的统一部署是一种比较现实合理的选择。()。 √ 17.以下不属于Action API的是()。 A.count() B.map(func) C.first() D.reduce(func) B 18.scala >val wordCounts=textFile.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((a,b) => a + b) scala > wordCounts.collect() 在上面的代码中属于“行动”类型的操作的是()。 A.flatMap() B.map() C.reduceByKey() D.collect() D 19.流计算秉承一个基本理念，即数据的价值随着时间的流逝而降低，如用户点击流。() √ 20.以下属于商业级流计算的是：()。 A.IBM InfoSphere Streams B.Twitter Storm C.Yahoo! S4 D.FaceBook Puma A 21.Hadoop擅长批处理，不适合流计算。() √ 22.数据采集系统的基本架构一般有以下三个部分：()。 A.Agent B.Collector C.Calculate D.Store C 23.在流处理流程中，实时查询服务可以不断更新结果，并将用户所需的结果实时推送给用户。() √ 24.Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成了一套完整的生态系统。() √ 25.Spark可以部署在资源管理器YARN之上，提供一站式的大数据解决方案。() √ 26.DAG：是Directed Acyclic Graph(有向无环图)的简称，反映RDD之间的依赖关系。() √ 27.Spark运行架构包括集群资源管理器(Cluster Manager)、运行作业任务的工作节点(Worker Node)、每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的执行进程(Executor)。() √ 28.一个Application由一个Driver和若干个Job构成，一个Job由多个Stage构成，一个Stage由多个没有Shuffle关系的Task组成。() √ 29.Stage的类型包括两种：___和_。 ShuffleMapStage，ResultStage 30.Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作。() √
