391.Spark框架依据其内存计算的特性增加了大数据分析计算的性能；Spark SQL在一定程度上；提升了SQL在大数据计算框架的效率；Spark Streaming提供了流式计算的能力；Spark MLlib支持机器学习。下面关于这几大技术描述正确的是？（ ABC ）
A:Spark的处理机制是在做迭代计算时，只需要第一次从文件系统HDFS中读取数据，然后将数据放入内存中，在后续的迭代计算中，直接从内存读取，提升处理效率
B:Spark SQL执行计划生成和优化都由Catalyst负责
C:Spark Streaming基本原理将实时输入数据流以时间片（秒级）为单位进行拆分，然后经Sparki引擎以类似批处理的方式处理每个时间片数据
D:Spark提供了一个基于少量数据的机器学习库，它提供了常用机器学习算法的分布式实现，即MLlib库
解析：Spark提供了一个基于海量数据的机器学习库,它提供了常用机器学习算法的分布式实现
392.Hadoop集群支持热插拔，在增加或删除节点时无需重新启动集群，极大提高了集群服务性能。体现了hadoop的（ B ）特点
A:高可靠
B:高扩展
C:高效率
D:高容错
E:低成本
解析：高扩展性：增添或者删除DataNode（支持热插拔，即无需重新启动集群），都会通知NameNode及时更新metadata；
393.在Hive的架构中，哪个组件提供了元数据存储模块，用于保存表模式与其他系统元教据?（ D ）
A:HWI
B:Driver
C:JDBC
D:Metastore
解析：Metastore用于保存表模式与其他系统元教据
394.数据可视化可以帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。使用BI商业智能软件的主要目标用户是( A )
A:应用开发人员
B:业务分析师
C:开发人员
D:运维人员
解析：应用开发人员
395.使用网络爬虫对微博信息进行采集时，会使用到选项中哪些爬虫技术?( AC )
A:通用网络爬虫
B:横向网络爬虫
C:聚集网络爬虫
D:增量网络爬虫
解析：通用网络爬虫是一种广泛应用的爬虫技术，它以广度优先或深度优先的方式遍历互联网上的网页，通过解析页面内容获取所需信息。对于微博信息的采集，通用网络爬虫可以用来获取用户信息、微博内容、评论等公开的数据。通用网络爬虫具有高效快速的特点，可以广泛地收集大量的数据。
然而，微博平台存在着一些限制和挑战，比如反爬机制、用户隐私保护等。为了克服这些问题，聚集网络爬虫被引入。聚集网络爬虫相对于通用网络爬虫来说更加专注于特定网站或应用，能够更好地适应微博平台的特殊需求。它能够模拟真实用户的行为，按照一定的规则和策略进行请求，绕过反爬机制，减少被封禁风险。聚集网络爬虫还能够通过分析微博网页结构和API接口，有针对性地获取更多的数据，提高采集效率和质量。
396.“网络数据采集"是指利用互联网搜索引擎技术实现有针对性、行业性、精准性的数据抓取，并按照一定规则和筛选标准进行数据归类，并形成数据库文件的一个过程，下列选项中，对网络数据采集描述正确的是（ ABD ）
A:网络数据采集可以通过爬虫技术实现采集
B:网络数据采集可以通过网站对外公开的接口实现获取数据
C:网络数据采集只能获取片、音频和视频，不能获取其它信息
D:网络数据采集主要作用就是将网页中非结构化的数据抽取出来，存储在本地数据文件中，经过简单处理以结构化的形式存储
解析：网络数据采集是指通过网络爬虫或网站公开 API 等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。
397.阿里云智能数据建设与治理 Dataphin属于大数据产品体系中哪一类产品？（ B ）
A:智能搜索与推荐
B:数据开发和治理
C:大数据计算与分析
D:大数据工具与服务
解析：链接：https://help.aliyun.com/document_detail/109739.html Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。
398.阿里云数据集成 Data Integration属于阿里云大数据产品体系中的哪一类产品?（ C ）
A:数据开发和治理
B:智能搜索与推荐
C:大数据工具与服务
D:大数据分析与可视化
解析：属于大数据工具与服务。
399.下列选项中关于MapReduce描述正确的是（ C ）。
A:支持离线数据与实时数据的处理
B:在对数据处理过程中除了支持Map与Reduce方法外还可以自定义方法来完成数据的处理
C:使用在分布式计算框架，所以当一台机器失败后，会导致计算任务重启
D:过多的磁盘操作缺乏对分布式内存的支持，不能高效的支持迭代式计算
解析：MapReduce处理数据过程主要分成Map和Reduce两个阶段。首先执行Map阶段，再执行Reduce阶段。Map和Reduce的处理逻辑由用户自定义实现，但要符合MapReduce框架的约定。 MapReduce适合处理离线的海量数据. https://help.aliyun.com/document_detail/27875.html?spm=a2c4g.27874.0.0.4ecd5ac41yNcvk
400.阿里云大数据体系由多个大数据组件组成，下列技术中，哪一个属于阿里云大数据体系?（ D ）
A:Yarn
B:ZooKeeper
C:Pig
D:DataWorks
解析：Yarn是开源hadoop体系中的资源调度框架； Zookeeper是开源hadoop体系中的协调服务； pig是开源数据库； DataWorks是阿里云数据工场
