阿里云大数据ACA及ACP复习题(401~410)

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 本人备考阿里云大数据考试时自行收集准备的题库,纯手工整理的,能够覆盖到今年7月份,应该是目前最新的,发成文章希望大家能一起学习,不要花冤枉钱去买题库背了,也希望大家能够顺利通关ACA和ACP考试(自己整理解析也需要时间,可能有更新不及时的情况哈)

401.大数据通常是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。通常会用“4V"来描述大数据的特点,包括( ABCD )。
A:Volume
B:Variety
C:Velocity
D:Value
E:Vitality

解析:大数据4V的特征:Volume规模性、Variety多样性、Velocity高速性、Value价值型。

402.Google是Hadoop的思想之源,2006年3月份份,Hadoop正式诞生,其名字来源于Doug cutting儿子的玩具大象,随着时间的推移,Hadoop延申出了庞大的生态技术圈,那么下列关于Hadoop描述正确的有哪些?( ABCDF )
A:Cloudera内部集成了很多的大数据框架,对应的产品为CDH,是Hadoop的发行版本之一
B:Hadoop有四大优势、高可靠、高扩展、高效性、高容错性
C:在Hadoop1.x时代,Hadoop的MapReduce同时处理业务的逻辑运算和资源调度,耦合性较大。在Hadoop2.x时代,Hadoop增加了Yarn,Yarn只负责资源调度,MapReduce只负责计算
D:Flume、Kafka、Sqoop等数据传输组件均属于Hadoop生态圈技术
E:Hive、Spark、Flink等技术属于大数据计算层,不属于Hadoop生态圈技术
F:ZooKeeper:它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。所以Zookeeper也是Hadoop生态全技术之一

解析:Hadoop有三大发现版本,Apache版本最原始(最基础)的版本,对于入门学习最好。 Cloudera内部集成了很多大数据框架。对应产品CDH。 Hortonworks文档较好。对应产品HDP。1)Apache Hadoop 官网地址:http://hadoop.apache.org/releases.html 下载地址:https://archive.apache.org/dist/hadoop/common/ 2)Cloudera Hadoop 官网地址:https://www.cloudera.com/downloads/cdh/5-10-0.html 下载地址:http://archive-primary.cloudera.com/cdh5/cdh/5/ (1)2008年成立的Cloudera是最早将Hadoop商用的公司,为合作伙伴提供Hadoop的商用解决方案,主要是包括支持、咨询服务、培训。 (2)2009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDH,Cloudera Manager,Cloudera Support (3)CDH是Cloudera的Hadoop发行版,完全开源,比Apache Hadoop在兼容性,安全性,稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。 (4)Cloudera Manager是集群的软件分发及管理监控平台,可以在几个小时内部署好一个Hadoop集群,并对集群的节点及服务进行实时监控。 3)Hortonworks Hadoop 官网地址:https://hortonworks.com/products/data-center/hdp/ 下载地址:https://hortonworks.com/downloads/#data-platform (1)2011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。 (2)公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年开始协助雅虎开发Hadoop,贡献了Hadoop80%的代码。 (3)Hortonworks的主打产品是Hortonworks Data Platform(HDP),也同样是100%开源的产品,HDP除常见的项目外还包括了Ambari,一款开源的安装和管理系统。 (4)Hortonworks目前已经被Cloudera公司收购。

403.关于数据可视化分析平台Quick BI的价值,描述正确的是?( ABD )
A:帮助企业构建自上而下的决策分析体系
B:实现业务流程和数据分析直接协同
C:帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用
D:形成数据消费和价值洞察的企业文化

解析:Quick BI可以带来什么价值?
帮助企业构建自上而下的决策分析体系
实现业务流程和数据分析直接协同
提升企业内各种人员的数据分析效率
形成数据消费和价值洞察的企业文化
https://help.aliyun.com/document_detail/33813.html
DataV旨在让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警和地理信息分析等多种业务的展示需求

404.在进行数据预处理时,经常会遇到有缺失值的情况,解决此问题的方法有很多,下列选项中处理缺失值的方法有( ABD )
A:剔除含有缺失值的样本
B:变量的缺失值很多且无价值,可删除
C:转换和分箱
D:用一个特殊码代表缺失值

解析:缺失值处理方法: 直接删除法、LOCF法、虚拟变量法、 均值填补法、回归填补发

405.在数据可视化的图表选择中,下列选项中既属于类别比较型图表又属于时间序列型图表的是?( A )
A:柱形图
B:曲线图
C:矩形树状图
D:散点图

解析:类别比较型图表的数据一般分为:数值型和类别型两种数据类型,主要包括:柱形图、条形图、雷达图、坡度图、词云图等; 时间序列型图表强调数据随时间的变化规律或者趋势,X轴一般为时序数据,Y轴为数值型数据,包括折线图、面积图、雷达图、日历图、柱形图等。

406.DataV数据可视化应用的主要目标用户是?( D )
A:业务分析师
B:开发人员
C:运维人员
D:应用开发人员

解析:DataV旨在通过图形化的界面帮助不同专业背景的用户轻松搭建专业水准的可视化应用,满足会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求。

407.大数据处理分析过程中,根据数据的类型不同,如存储在数据库的静态历史数据,实时的热点数据或者图形数据,从而衍生出了不同的计算模式。关于大数据处理分析的计算模式,主要分为( ABCE )
A:批处理计算
B:流计算
C:查询分析计算
D:数据存储计算
E:图计算

解析
批处理计算:批处理计算是最常见的一类数据处理方式,主要用于对大规模数据进行批量的处理,其代表产品有MapReduce和Spark等。前者将复杂的、运行在大规模集群上的并行计算过程高度抽象成两个函数——Map和Reduce,方便对海量数据集进行分布式计算工作;后者则采用内存分布数据集,用内存替代HDFS或磁盘来存储中间结果,计算速度要快很多。 流式计算:如果说批处理计算是传统的计算方式,流式计算则是近年来兴起的、发展非常迅猛的计算方式。流式数据是随时间分布和数量上无限的一系列动态数据集合体,数据价值随时间流逝而降低,必须采用实时计算方式给出响应。流式计算就可以实时处理多源、连续到达的流式数据,并实时分析处理。目前市面上已出现很多流式计算框架和平台,如开源的Storm、S4、Spark Streaming,商用的Streams、StreamBase等,以及一些互联网公司为支持自身业务所开发的如Facebook的Puma、百度的DStream以及淘宝的银河流数据处理平台等。 交互式查询计算:主要用于对超大规模数据的存储管理和查询分析,提供实时或准实时的响应。所谓超大规模数据,其比大规模数据的量还要庞大,多以PB级计量,如谷歌公司的系统存有PB级数据,为了对其数据进行快速查询,谷歌开发了Dremel实时查询系统,用于对只读嵌套数据的分析,能在几秒内完成对万亿张表的聚合查询;Cloudera公司参考Dremel系统开发了一套叫Impala的实时查询引擎,能快速查询存储在Hadoop的HDFS和HBase中的PB级超大规模数据。此外,类似产品还有Cassandra、Hive等。 图计算:图计算是以“图论“;为基础的对现实世界的一种“图“;结构的抽象表达,以及在这种数据结构上的计算模式。由于互联网中信息很多都是以大规模图或网络的形式呈现的,许多非图结构的数据也常被转换成图模型后再处理,不适合用批计算和流式计算来处理,因此出现了针对大型图的计算手段和相关平台。市面上常见的图计算产品有Pregel、GraphX、Giraph以及PowerGraph等。

408.下列选项中,关于数据可视化图表类型,不属于类别比较型的是?( D )
A:条状图
B:瀑布图
C:坡度图
D:气泡图

解析:类别比较型图表,包括柱形图、条形图、不等宽柱形图、克利夫兰点图、桑基图、坡度图、南丁格尔玫瑰图、雷达图和词云图等

409.Pig是Hadoop生态圈的组件之一,关于Pig,描述错误的是?( D )
A:Pig是一个基于Hadoop的大规模数据分析平台
B:Pig是一个用于并行计算的高级数据流语言和执行框架
C:Pig有一套和SQL类似的执行语句,处理的对象是HDFS上的文件
D:Pig的数据处理语言采取分布式消息订阅发布方式

解析:Pig是一个基于Hadoop的大规模数据分析平台。
Pig的数据处理语言是数据流方式的,一步一步的进行处理; 数据处理语言采取分布式消息订阅发布方式描述的是Kafka消息队列的功能

410.如果要使用阿里云MaxCompute,请按照什么步骤准备项目?( D )
A:准备阿里云账号一准备RAM用户一开通MaxCompute一添加工作空间成员并设置角色一创建MaxCompute项目一进入工作空间进行开发任务
B:准备阿里云账号一准备RAM用户一添加工作空间成员并设置角色一开通MaxCompute一创建MaxCompute项目一进入工作空间进行开发任务
C:准备阿里云账号一开通MaxCompute一准备RAM用户一创建MaxCompute项目一添加工作空间成员并设置角色一进入工作空间进行开发任务
D:准备阿里云账号一准备RAM用户一开通MaxCompute一创建MaxCompute项目一添加工作空间成员并设置角色一进入工作空间进行开发任务

解析:参考:https://help.aliyun.com/document_detail/252793.html?spm=a2c4g.55800.0.0.123c57215tNhtx
步骤一:准备阿里云账号 创建阿里云账号并实名认证。
步骤二:(可选)准备RAM用户
步骤三:开通MaxCompute
步骤四:创建MaxCompute项目
步骤五:(可选)添加工作空间成员并设置角色
步骤六:准备环境及安装工具

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
4天前
|
SQL DataWorks 数据可视化
阿里云DataWorks评测:大数据开发治理平台的卓越表现
阿里云DataWorks是一款集数据集成、开发、分析与管理于一体的大数据平台,支持多种数据源无缝整合,提供可视化ETL工具和灵活的任务调度机制。其内置的安全体系和丰富的插件生态,确保了数据处理的高效性和安全性。通过实际测试,DataWorks展现了强大的计算能力和稳定性,适用于中小企业快速搭建稳定高效的BI系统。未来,DataWorks将继续优化功能,降低使用门槛,并推出更多灵活的定价方案,助力企业实现数据价值最大化。
|
4天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
24 2
|
1月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据生态圈体系
阿里云大数据计算服务MaxCompute(原ODPS)提供大规模数据存储与计算,支持离线批处理。针对实时计算需求,阿里云推出Flink版。此外,阿里云还提供数据存储服务如OSS、Table Store、RDS和DRDS,以及数据分析平台DataWorks、Quick BI和机器学习平台PAI,构建全面的大数据生态系统。
68 18
|
1月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
3月前
|
人工智能 分布式计算 DataWorks
连续四年!阿里云领跑中国公有云大数据平台
近日,国际数据公司(IDC)发布《中国大数据平台市场份额,2023:数智融合时代的真正到来》报告——2023年中国大数据平台公有云服务市场规模达72.2亿元人民币,其中阿里巴巴市场份额保持领先,占比达40.2%,连续四年排名第一。
257 12
|
3月前
|
SQL 人工智能 大数据
阿里云牵头起草!首个大数据批流融合国家标准发布
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
105 7
|
3月前
|
SQL 人工智能 大数据
首个大数据批流融合国家标准正式发布,阿里云为牵头起草单位!
近日,国家市场监督管理总局、国家标准化管理委员会正式发布大数据领域首个批流融合国家标准 GB/T 44216-2024《信息技术 大数据 批流融合计算技术要求》,该标准由阿里云牵头起草,并将于2025年2月1日起正式实施。
|
2月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
307 7
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
47 2