401.大数据通常是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。通常会用“4V"来描述大数据的特点,包括( ABCD )。
A:Volume
B:Variety
C:Velocity
D:Value
E:Vitality
解析:大数据4V的特征:Volume规模性、Variety多样性、Velocity高速性、Value价值型。
402.Google是Hadoop的思想之源,2006年3月份份,Hadoop正式诞生,其名字来源于Doug cutting儿子的玩具大象,随着时间的推移,Hadoop延申出了庞大的生态技术圈,那么下列关于Hadoop描述正确的有哪些?( ABCDF )
A:Cloudera内部集成了很多的大数据框架,对应的产品为CDH,是Hadoop的发行版本之一
B:Hadoop有四大优势、高可靠、高扩展、高效性、高容错性
C:在Hadoop1.x时代,Hadoop的MapReduce同时处理业务的逻辑运算和资源调度,耦合性较大。在Hadoop2.x时代,Hadoop增加了Yarn,Yarn只负责资源调度,MapReduce只负责计算
D:Flume、Kafka、Sqoop等数据传输组件均属于Hadoop生态圈技术
E:Hive、Spark、Flink等技术属于大数据计算层,不属于Hadoop生态圈技术
F:ZooKeeper:它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。所以Zookeeper也是Hadoop生态全技术之一
解析:Hadoop有三大发现版本,Apache版本最原始(最基础)的版本,对于入门学习最好。 Cloudera内部集成了很多大数据框架。对应产品CDH。 Hortonworks文档较好。对应产品HDP。1)Apache Hadoop 官网地址:http://hadoop.apache.org/releases.html 下载地址:https://archive.apache.org/dist/hadoop/common/ 2)Cloudera Hadoop 官网地址:https://www.cloudera.com/downloads/cdh/5-10-0.html 下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/ (1)2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括支持、咨询服务、培训。 (2)2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support (3)CDH是Cloudera的Hadoop发行版,完全开源,比Apache Hadoop在兼容性,安全性,稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。 (4)Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。 3)Hortonworks Hadoop 官网地址:https://hortonworks.com/products/data-center/hdp/ 下载地址:https://hortonworks.com/downloads/#data-platform (1)2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。 (2)公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,贡献了Hadoop80%的代码。 (3)Hortonworks的主打产品是Hortonworks Data Platform(HDP),也同样是100%开源的产品,HDP除常见的项目外还包括了Ambari,一款开源的安装和管理系统。 (4)Hortonworks目前已经被Cloudera公司收购。
403.关于数据可视化分析平台Quick BI的价值,描述正确的是?( ABD )
A:帮助企业构建自上而下的决策分析体系
B:实现业务流程和数据分析直接协同
C:帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用
D:形成数据消费和价值洞察的企业文化
解析:Quick BI可以带来什么价值?
帮助企业构建自上而下的决策分析体系
实现业务流程和数据分析直接协同
提升企业内各种人员的数据分析效率
形成数据消费和价值洞察的企业文化
https://help.aliyun.com/document_detail/33813.html
DataV旨在让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警和地理信息分析等多种业务的展示需求
404.在进行数据预处理时,经常会遇到有缺失值的情况,解决此问题的方法有很多,下列选项中处理缺失值的方法有( ABD )
A:剔除含有缺失值的样本
B:变量的缺失值很多且无价值,可删除
C:转换和分箱
D:用一个特殊码代表缺失值
解析:缺失值处理方法: 直接删除法、LOCF法、虚拟变量法、 均值填补法、回归填补发
405.在数据可视化的图表选择中,下列选项中既属于类别比较型图表又属于时间序列型图表的是?( A )
A:柱形图
B:曲线图
C:矩形树状图
D:散点图
解析:类别比较型图表的数据一般分为:数值型和类别型两种数据类型,主要包括:柱形图、条形图、雷达图、坡度图、词云图等; 时间序列型图表强调数据随时间的变化规律或者趋势,X轴一般为时序数据,Y轴为数值型数据,包括折线图、面积图、雷达图、日历图、柱形图等。
406.DataV数据可视化应用的主要目标用户是?( D )
A:业务分析师
B:开发人员
C:运维人员
D:应用开发人员
解析:DataV旨在通过图形化的界面帮助不同专业背景的用户轻松搭建专业水准的可视化应用,满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。
407.大数据处理分析过程中,根据数据的类型不同,如存储在数据库的静态历史数据,实时的热点数据或者图形数据,从而衍生出了不同的计算模式。关于大数据处理分析的计算模式,主要分为( ABCE )
A:批处理计算
B:流计算
C:查询分析计算
D:数据存储计算
E:图计算
解析:
批处理计算:批处理计算是最常见的一类数据处理方式,主要用于对大规模数据进行批量的处理,其代表产品有MapReduce和Spark等。前者将复杂的、运行在大规模集群上的并行计算过程高度抽象成两个函数——Map和Reduce,方便对海量数据集进行分布式计算工作;后者则采用内存分布数据集,用内存替代HDFS或磁盘来存储中间结果,计算速度要快很多。 流式计算:如果说批处理计算是传统的计算方式,流式计算则是近年来兴起的、发展非常迅猛的计算方式。流式数据是随时间分布和数量上无限的一系列动态数据集合体,数据价值随时间流逝而降低,必须采用实时计算方式给出响应。流式计算就可以实时处理多源、连续到达的流式数据,并实时分析处理。目前市面上已出现很多流式计算框架和平台,如开源的Storm、S4、Spark Streaming,商用的Streams、StreamBase等,以及一些互联网公司为支持自身业务所开发的如Facebook的Puma、百度的DStream以及淘宝的银河流数据处理平台等。 交互式查询计算:主要用于对超大规模数据的存储管理和查询分析,提供实时或准实时的响应。所谓超大规模数据,其比大规模数据的量还要庞大,多以PB级计量,如谷歌公司的系统存有PB级数据,为了对其数据进行快速查询,谷歌开发了Dremel实时查询系统,用于对只读嵌套数据的分析,能在几秒内完成对万亿张表的聚合查询;Cloudera公司参考Dremel系统开发了一套叫Impala的实时查询引擎,能快速查询存储在Hadoop的HDFS和HBase中的PB级超大规模数据。此外,类似产品还有Cassandra、Hive等。 图计算:图计算是以“图论“;为基础的对现实世界的一种“图“;结构的抽象表达,以及在这种数据结构上的计算模式。由于互联网中信息很多都是以大规模图或网络的形式呈现的,许多非图结构的数据也常被转换成图模型后再处理,不适合用批计算和流式计算来处理,因此出现了针对大型图的计算手段和相关平台。市面上常见的图计算产品有Pregel、GraphX、Giraph以及PowerGraph等。
408.下列选项中,关于数据可视化图表类型,不属于类别比较型的是?( D )
A:条状图
B:瀑布图
C:坡度图
D:气泡图
解析:类别比较型图表,包括柱形图、条形图、不等宽柱形图、克利夫兰点图、桑基图、坡度图、南丁格尔玫瑰图、雷达图和词云图等
409.Pig是Hadoop生态圈的组件之一,关于Pig,描述错误的是?( D )
A:Pig是一个基于Hadoop的大规模数据分析平台
B:Pig是一个用于并行计算的高级数据流语言和执行框架
C:Pig有一套和SQL类似的执行语句,处理的对象是HDFS上的文件
D:Pig的数据处理语言采取分布式消息订阅发布方式
解析:Pig是一个基于Hadoop的大规模数据分析平台。
Pig的数据处理语言是数据流方式的,一步一步的进行处理; 数据处理语言采取分布式消息订阅发布方式描述的是Kafka消息队列的功能
410.如果要使用阿里云MaxCompute,请按照什么步骤准备项目?( D )
A:准备阿里云账号一准备RAM用户一开通MaxCompute一添加工作空间成员并设置角色一创建MaxCompute项目一进入工作空间进行开发任务
B:准备阿里云账号一准备RAM用户一添加工作空间成员并设置角色一开通MaxCompute一创建MaxCompute项目一进入工作空间进行开发任务
C:准备阿里云账号一开通MaxCompute一准备RAM用户一创建MaxCompute项目一添加工作空间成员并设置角色一进入工作空间进行开发任务
D:准备阿里云账号一准备RAM用户一开通MaxCompute一创建MaxCompute项目一添加工作空间成员并设置角色一进入工作空间进行开发任务
解析:参考:https://help.aliyun.com/document_detail/252793.html?spm=a2c4g.55800.0.0.123c57215tNhtx
步骤一:准备阿里云账号 创建阿里云账号并实名认证。
步骤二:(可选)准备RAM用户
步骤三:开通MaxCompute
步骤四:创建MaxCompute项目
步骤五:(可选)添加工作空间成员并设置角色
步骤六:准备环境及安装工具