Hadoop笔试题一答案

Hadoop笔试题一答案

一、选择题20分

1-5     CADDC
5-10    DCBBB

二、填空题30分

11.2e40
12.大量化、多样化、快速化、价值密度低
13.core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml
14.50070,8088,16010,8080,4040
15.spark-submit --master yarn-client或spark-shell --master yarn-client

三、命令题10分

16.hadoop fs -rm -r /tmp/xxx
17.hadoop namenode -format
18.scp -r /opt/hive2.1.1 root@hadoop1:/opt/
19.find / -name hdfs-site.xml
20.val sc = new SparkContext(conf)

四、解答题20分

21.单机（本地）模式 伪分布式模式 全分布式模式。

22. 先执行 stop-all.sh，再执行 start-all.sh。

23. 当 JobTracker 失败时，集群仍然可以正常工作，只要 Namenode 没问题。

24.HQuorumPeer进程是hbase管理的zookeeper所产生的；QuorumPeerMain进程就是zookeeper独立的进程。

25.RDD支持面向Java、Scala对象，编译时强类型检查。缺点，序列化非常消耗时间(集群分发和磁盘存储)，不能充分利用系统的高级优化能力(如off-heap)，垃圾回收对象开销大。
 DataFrame支持数据集的模式表示(即数据列的概念)，所以集群分发数据时并不需要序列化，能充分利用系统高级优化能力(off-heap)，引入查询计划提高性能。缺点，DataFrame的列类型，在编译时无法判断类型，会产生运行时错误。
 Dataset即支持数据集的模式表示，又支持java、scala对象的类型检查能力。两者通过引入一种编码、解码机制来实现。
 三种代码片段:  
 rdd.filter(_.age > 21)
 df.filter("age > 21");
 dataset.filter(_.age < 21);

五、代码题10分

26.
public class BubbleSort {
　　public static void main(String[] args) {
　　　　int[] arr={6,3,8,2,9,1};
　　　　System.out.println("排序前数组为：");
　　　　for(int num:arr){
　　　　　　System.out.print(num+" ");
　　　　}
　　　　for(int i=0;i<arr.length-1;i++){//外层循环控制排序趟数
　　　　　　for(int j=0;j<arr.length-1-i;j++){//内层循环控制每一趟排序多少次
　　　　　　　　if(arr[j]>arr[j+1]){
　　　　　　　　　　int temp=arr[j];
　　　　　　　　　　arr[j]=arr[j+1];
　　　　　　　　　　arr[j+1]=temp;
　　　　　　　　}
　　　　　　}
　　　　} 
　　　　System.out.println();
　　　　System.out.println("排序后的数组为：");
 　　　　for(int num:arr){
 　　　　　　System.out.print(num+" ");
 　　　　} 
　　}
 }

27.
Map：
map (String key, String value) :
    words = SplitIntTokens(value) ;
    for each word w in words :
        EmitIntermediate(w, “1”) ;

Reduce：
reduce (String key, Iterator values) :
    int result = 0 ;
    for each v in values :
        result += StringToInt (v) ;
        Emit (key, IntToSttring (result)) ;

六、智力题10分

28.答案：
1.猎人和狼过去，猎人回
2.猎人和男人的小孩1过去，猎人和狼回
3.男人和他的小孩2过去，男人回
4.男人和女人过去，女人回
5.猎人和狼过去，男人回
6.男人和女人过去，女人回
7.女人和她的小孩1过去，猎人和狼回
8.猎人和女人的小孩2过去，猎人回
9.猎人和狼过去

29.答案：
7次（简要说明过程）
首先将马分五组：A、B、C、D、E 
每组赛一场，一共要赛5场，根据由快到慢依次排序 
A1、A2、A3、A4、A5 
B1、B2、B3、B4、B5 
C1、C2、C3、C4、C5 
D1、D2、D3、D5、D5 
E1、E2、E3、E4、E5

然后 A1，B1，C1，D1，E1赛一场，如果快慢就按此排序，那么最后一场只需要赛
A2，A3，B1，B2，C1即可得出前三名，因为A1是稳稳的第一，所以一共7次