20180524早课记录17-Hadoop

简介: 今天来讲Hadoop

1.MapReduce谈谈你们的理解


执行引擎 计算


2.Map是什么


map:映射函数


3.Reduce是什么


reduce:规约函数


4.shuffle谈谈你们的理解


相当于洗牌 按key进行分组


5.wordcount那副图,脑子是否有印象?


不太深入


6.输入分片一般和什么有关?多少个分片就可以有多少个map task,对不对?


块大小 不对 会合并小文件


7.mapreduce架构设计中应用程序AM和task都运行在哪个抽象概念中?


container


8.假如hdfs的文件都是小文件,那么就会有多个map task,我们生产上一般设计时,是需要合并的或者设计我们文件存储时尽量保持一个文件在一个块大小(了解题)


是的


9.NM节点的内存和容器的内存参数哪几个?


yarn.nodemanager.resource.memory-mb

yarn.scheduler.minimum-allocation-mb

yarn.scheduler.maximum-allocation-mb

yarn.scheduler.minimum-allocation-vcores

yarn.scheduler.maximum-allocation-vcores


10.容器是使用物理core还是虚拟core


虚拟core


11.总结一下mapreduce架构设计 wordcount博客 容器的概念,内存和vcore的参数设置

目录
相关文章
|
5月前
|
存储 SQL 分布式计算
Hadoop数据整合
【5月更文挑战第9天】Hadoop数据整合
42 2
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop 1 与 Hadoop 2 的区别详解
【8月更文挑战第31天】
33 0
|
3月前
|
分布式计算 资源调度 安全
Hadoop停止所有Hadoop服务
【7月更文挑战第20天】
48 2
|
5月前
|
存储 分布式计算 Hadoop
Hadoop数据合并技巧
【5月更文挑战第10天】Hadoop数据合并技巧
83 2
|
5月前
|
存储 分布式计算 监控
Hadoop冗余数据存储
【4月更文挑战第13天】Hadoop的HDFS分布式文件系统通过数据块划分、冗余存储(副本创建)和多样化存储类型提升可靠性与扩展性。NameNode监控副本数量,确保数据安全。使用数据压缩算法节省空间,数据本地化优化提高效率。支持并行处理,实现高效大规模数据处理。
57 1
|
10月前
|
分布式计算 Hadoop Java
简单操作hadoop
简单操作hadoop
51 2
|
SQL 分布式计算 资源调度
hadoop伪分布式安装记录
hadoop伪分布式安装记录
186 0
|
存储 分布式计算 负载均衡
Hadoop常见命令总结
常见基础命令: • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
543 0
|
存储 资源调度 Java
|
存储 机器学习/深度学习 资源调度

相关实验场景

更多
下一篇
无影云桌面