20180601早课记录23-Hadoop

简介: 今天来讲Hadoop

1.hdfs是属于什么架构


高可用的分布式架构


2.hdfs部署后进程哪些?按启动顺序说


NameNode,DataNode,SecondaryNameNode


3.一个文件180M,请问实际存储多少,多少块?多少map task?(副本为3)


540M, 6块, 假如文件支持分割,那么就2个map task。假如文件是压缩的,那么正好压缩不支持分割,那么就一个map task


4.副本放置策略,来说说看


就近分配


5.snn职责是什么


是合并NameNode的edit logs到fsimage文件中


6.hadoop fs命令和什么命令一样


hdfs dfs


7.shuffle,说说你们的理解


在map和repuced中间 进行重组 洗牌操作


8.yarn的进程哪些?


NodeManager,ResourceManager


9.jps命令,谈谈你们的理解


查看java进程及其对应信息


10.hdfs yarn界面的默认端口分别多少?假如让你们修改这个端口号,会不会?


50070,8088


11.查看进程哪个占系统资源较多的命令是什么


top


12.查看系统负载,1分钟 5分钟  15分钟 的命令是什么


top右上角 load average: 0.09, 0.05, 0.01

三个数分别代表不同时间段的系统平均负载(一分钟、五 分钟、以及十五分钟)


13.说说你们对top,还能够看啥?


查看系统的CPU、内存、运行时间、交换分区、执行的线程等信息

目录
相关文章
|
5月前
|
存储 SQL 分布式计算
Hadoop数据整合
【5月更文挑战第9天】Hadoop数据整合
42 2
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop 1 与 Hadoop 2 的区别详解
【8月更文挑战第31天】
33 0
|
3月前
|
分布式计算 资源调度 安全
Hadoop停止所有Hadoop服务
【7月更文挑战第20天】
48 2
|
5月前
|
存储 分布式计算 Hadoop
Hadoop数据合并技巧
【5月更文挑战第10天】Hadoop数据合并技巧
83 2
|
5月前
|
存储 分布式计算 监控
Hadoop冗余数据存储
【4月更文挑战第13天】Hadoop的HDFS分布式文件系统通过数据块划分、冗余存储(副本创建)和多样化存储类型提升可靠性与扩展性。NameNode监控副本数量,确保数据安全。使用数据压缩算法节省空间,数据本地化优化提高效率。支持并行处理,实现高效大规模数据处理。
57 1
|
10月前
|
分布式计算 Hadoop Java
简单操作hadoop
简单操作hadoop
51 2
|
SQL 分布式计算 资源调度
hadoop伪分布式安装记录
hadoop伪分布式安装记录
186 0
|
存储 分布式计算 负载均衡
Hadoop常见命令总结
常见基础命令: • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
543 0
|
存储 机器学习/深度学习 资源调度
|
存储 分布式计算 资源调度

相关实验场景

更多
下一篇
无影云桌面