20180521早课记录14-Hadoop

简介: 今天来讲Hadoop

1.hadoop是什么


狭义: Hadoop软件(HDFS、MapReduce、Yarn)

广义: 以hadoop为主的生态圈


2.hadoop三大组件是什么?分别做什么


HDFS: 分布式文件管理系统 存储

MapReduce: 执行引擎 计算

Yarn: 资源(memory cpu)和作业调度平台 资源


3.hdfs在部署时,要配置信任关系,请问root和hadoop用户部署时,区别是什么


注意authorized_keys权限 要改为600


4.hdfs三个进程是什么


NameNode,DataNode,SecondaryNameNode


5.一个文件500M,请问多少个块


128m一个块,就是4个块


6.假如副本数为3,上题中的实际存储为多少


1500M


7.谈谈你们对hdfs读和写流程的理解 有什么不一样


读是inputStream

写是outputStream


8.nn是做什么的


管理文件系统的命名空间


9.dn是做什么的


读写文件的数据块


10.snn是做什么的


定期合并fsimage+editlog文件为新的fsimage 推送给namenode 俗称检查点动作


11.谈谈副本放置策略,客户端假如为DN节点,那么第一个副本在哪


就近原则,放当前节点


12.谈谈对jps命令的理解


jps就是把/tmp下对应用户的进程信息显示出来,并不代表实际的进程信息


13.谈谈对pid文件的理解


保存进程号


14.shell脚本编写第一行是什么


#!/bin/bash


15.怎样动态变量


b=`date`


16.if判断要注意什么


if判断里的条件开头和结尾都要空格


17.调试哪两种


脚本内 #!/bin/bash -x

执行参数 sh -x xxx.sh


18.root用户想要使用hadoop执行 date命令,请问命令和参数是什么


su - hadoop -c date

目录
相关文章
|
7月前
|
存储 SQL 分布式计算
Hadoop数据整合
【5月更文挑战第9天】Hadoop数据整合
58 2
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop 1 与 Hadoop 2 的区别详解
【8月更文挑战第31天】
127 0
|
7月前
|
存储 分布式计算 Hadoop
Hadoop数据合并技巧
【5月更文挑战第10天】Hadoop数据合并技巧
126 2
|
7月前
|
存储 分布式计算 监控
Hadoop冗余数据存储
【4月更文挑战第13天】Hadoop的HDFS分布式文件系统通过数据块划分、冗余存储(副本创建)和多样化存储类型提升可靠性与扩展性。NameNode监控副本数量,确保数据安全。使用数据压缩算法节省空间,数据本地化优化提高效率。支持并行处理,实现高效大规模数据处理。
107 1
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop 配置
core-site.xml 是 Hadoop 核心全局配置文件【2月更文挑战第20天】
63 1
|
分布式计算 Hadoop Java
简单操作hadoop
简单操作hadoop
55 2
|
SQL 分布式计算 资源调度
hadoop伪分布式安装记录
hadoop伪分布式安装记录
203 0
|
分布式计算 Hadoop Linux
hadoop启动hdfs异常
hadoop启动hdfs异常
243 0
|
存储 分布式计算 负载均衡
Hadoop常见命令总结
常见基础命令: • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
569 0
|
存储 资源调度 Java
20180601早课记录23-Hadoop
今天来讲Hadoop
100 0

相关实验场景

更多