501.数据预处理中的缺失值处理是指由于调查、编码和录入的误差,导致数据中可能存在缺失值,需要给予适当的处理。常用的缺失值处理方法有( ABD )
A:样本的均值、中位数如或众数代替缺失值
B:关联分析或逻辑推论进行估计
C:转换类型
D:变量的缺失值很多且无价值,可删除。
解析:A: 样本的均值、中位数或众数代替缺失值。这种方法适用于缺失值较少的情况,通过使用样本的统计指标来填充缺失值,可以保持样本整体分布的一致性。
B: 关联分析或逻辑推论进行估计。当数据之间存在相关性或者可以通过逻辑推断推算出缺失值时,可以利用其他变量之间的关系来估计缺失值。
D: 变量的缺失值很多且无价值,可删除。如果某个变量的缺失值占比较高且对后续分析没有太大的价值,可以考虑直接删除这个变量。
需要根据具体的数据和场景选择合适的缺失值处理方法。不同的方法适用于不同的情况,目的是提高数据的完整性和准确性,以保证后续的分析结果的可靠性。
502.物联网的特点有哪些?( BCD )
A:智能控制
B:整体感知
C:可靠传输
D:智能处理
解析:物联网数据特征是整体感知、可靠传输和智能处理。
503.机器学习PAl(Platform of Artificial Intelligence)是阿里云人工智能平台,提供一站式的机器学习解决方案。PAI平台在大数据处理与分析中的作用主要体现在( ABC )
A:模型部署
B:模型开发
C:模型训练
D:模型创建
解析:PAI分别提供了模型准备、模型开发和训练及模型部署阶段的产品
504.HBase中的单表可以有数十亿行、百万列,如此大容量数据在定位数据时没有使用到以下哪个概念?( B )
A:RowKey
B:Table
C:Column Qualifier
D:Column Family
解析:Hbase相关概念 Table 表 与mysql的表是一样的含义。 Row 行 一行里面包括一个Row key和许多Column。 RowKey 唯一键 HBase存储的时候会按照rowkey的顺序进行排列。所以rowkey的设计对于怎么存储是非常重要的。实际在设计rowkey的时候,会根据查询的需求会进行适当的组合+顺序反转。举一个HBase文档中的案例,有3个rowkey分别为org.apache.www, org.apache.mail, org.apache.jira,这样设计的好处就是所有org.apache开头的数据都会在一块,在进行查询的时候,就可以一次性取出来。 Column 列 一个列是由一个column family和column qualifier共同组成,由冒号作为分割。 一个column = column family:column qualifier Column Family 列族 一个Column Family会包含多个Column Qualifier。一旦列族确定,就不能进行修改。 Column Qualifier 列限定符 相当于是一个列族下的索引。列限定符可在任意时刻进行增加。 Cell 单元格 由行、列族和列限定符的组合,并且包含值和时间戳,它表示值的版本 Timestamp 时间戳 可以用来做一个value的版本标识 定位数据采用的是列族+列限定+版本获取
505.在大数据大规模应用阶段,大数据的特征已经发展到了8V。下列选项中属于8V新特性的是( ACDE )。
A:Veracity准确性
B:Virtual虚拟性
C:Visualization可视性
D:Validity合法性
E:Vitality动态性
解析:大数据新特征:Veracity准确性、Vitality动态性、Visualization可视性、Validity合法性。
506.随着大数据时代的发展,Hadoop生态圈组件越来越丰富,关于Hadoop生态圈组件Pig,描述正确的是( A )。
A:大型数据集计算与分析平台
B:数据仓库
C:分布式计算框架
D:列式数据库
解析:大规模数据分析平台
507.以下内容是应用程序运行过程中产生的日志信息,它属于( A )类型的数据? 1997-07-01, 10 1998-04-01, 26 1997-05-01, -5 1989-06-01, 25 1925-05-01, 45
A:结构化
B:半结构化
C:非结构化
D:网状结构
解析:结构化
508.Mapreduce是一个分布式运算程序的编程框架,下列选项中,属于MapReduce的缺点是 ( B )
A:并行计算能力有限
B:磁盘IO开销大
C:延迟低
D:中间结果在内存中
解析:MapReduce框架的设计初衷是通过分布式计算和并行处理来加速大规模数据集的处理。然而,由于其特性和设计原则,MapReduce也存在一些缺点。
磁盘IO开销大是MapReduce的一项明显的缺点。在MapReduce中,数据被划分成多个块,这些块通常存储在分布式文件系统中,如Hadoop的HDFS。在Map阶段和Reduce阶段之间,需要将数据从磁盘读入内存,进行处理,并将结果写回磁盘。这种频繁的磁盘IO会增加系统的开销和延迟,影响整体性能。
509.在MaxCompute中,可以通过Tunnel命令行来完成数据的上传下载。如果要下载test _project项目空间下的一个带分区的表test_table p的内容到log.txt文件中,使用命令tunnel download test project.test table p log.txt;结果报错,其中出错的部分为( C )。
A:tunnel
B:download
C:test_project.test _table_P
D:log.txt
解析:在MaxCompute中,上传文件到表带分区的话需要在表后面以斜杠区分需要的分区,题干中的表名test_project.test _table_P不带分区故无法实现
510.在大数据开发套件DatalDE中,( C )是指使用系统或计算资源的客户,即公司。
A:DatalDE项目
B:MaxCompute项目空间
C:组织
D:个人账号
解析:组织是阿里云特有概念,一个公司开通大数据平台服务就创建一个组织,一个组织内创建多个项目空间。组织之间相互隔离,一个账号只能所属一个组织,元数据按组织隔离,只能查看本组织下的表元数据。