20180528早课记录19-Hadoop

简介: 今天来讲Hadoop

1.yarn的进程哪两个?


NodeManager,ResourceManager


2.rm进程包含哪两个?


Applications Master, Resource Scheduler


3.容器什么单词? 是在NM节点上还是RM节点?


container, 在NM节点


4.内存参数和CPU参数 能记得几个?假如让你们去官网搜,你们会知道以什么关键词搜搜吗


yarn.nodemanager.resource.memory-mb

yarn.scheduler.minimum-allocation-mb

yarn.scheduler.maximum-allocation-mb

yarn.scheduler.minimum-allocation-vcores

yarn.scheduler.maximum-allocation-vcores


5.作业程序的am是运行在nm节点的容器里吗?


是的


6.谈谈你们现阶段对shuffle的理解


shuffle是洗牌的意思 含义是按key进行分组


7.那么我们提交一个wordcount到yarn,那么那些log日志,仔细看看,其中有一步是spilt,那么一般和什么有关


和块大小有关


8.yarn杀死job的命令是什么


yarn application -kill jobid


9.hdfs一个文件130M,副本为3,请问多少块? 实际存储空间多少


6个块  390M


10.hdfs读写流程和yarn的作业工作流程自己想想,是否会?脑子是否有图?


理解还不够全面


11.一般企业里,DN和NM节点部署在同一台机器上,是为什么?(思考题)


数据本地化

目录
相关文章
|
7月前
|
存储 SQL 分布式计算
Hadoop数据整合
【5月更文挑战第9天】Hadoop数据整合
58 2
|
4月前
|
分布式计算 资源调度 Hadoop
Hadoop 1 与 Hadoop 2 的区别详解
【8月更文挑战第31天】
127 0
|
7月前
|
存储 分布式计算 Hadoop
Hadoop数据合并技巧
【5月更文挑战第10天】Hadoop数据合并技巧
126 2
|
7月前
|
存储 分布式计算 监控
Hadoop冗余数据存储
【4月更文挑战第13天】Hadoop的HDFS分布式文件系统通过数据块划分、冗余存储(副本创建)和多样化存储类型提升可靠性与扩展性。NameNode监控副本数量,确保数据安全。使用数据压缩算法节省空间,数据本地化优化提高效率。支持并行处理,实现高效大规模数据处理。
107 1
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop 配置
core-site.xml 是 Hadoop 核心全局配置文件【2月更文挑战第20天】
63 1
|
分布式计算 Hadoop Java
简单操作hadoop
简单操作hadoop
55 2
|
SQL 分布式计算 资源调度
hadoop伪分布式安装记录
hadoop伪分布式安装记录
203 0
|
分布式计算 Hadoop Linux
hadoop启动hdfs异常
hadoop启动hdfs异常
243 0
|
存储 分布式计算 负载均衡
Hadoop常见命令总结
常见基础命令: • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
569 0
|
存储 资源调度 Java
20180601早课记录23-Hadoop
今天来讲Hadoop
100 0

相关实验场景

更多