20180517早课记录12-Hadoop

简介: 今天来讲Hadoop

1.hadoop的广义和狭义的理解


狭义: Hadoop软件(HDFS、MapReduce、Yarn)

广义: 以hadoop为主的生态圈


2.hadoop三大组件是什么?分别是做什么?


HDFS: 分布式文件管理系统                存储

MapReduce: 执行引擎                     计算

Yarn: 资源(memory cpu)和作业调度平台    资源


3.hdfs伪分布式部署时我们需要配置当前用户对当前机器的无密码信任关系,那么你们会配置吗?  root和其他用户有什么区别? 知道在哪找吗?


会 其他用户注意authorized_keys权限 要改为600

http://hadoop.apache.org/docs/r2.8.3/hadoop-project-dist/hadoop-common/SingleCluster.html官网有介绍


4.xml配置文件官网怎么找,会不?


http://hadoop.apache.org/docs/r2.8.3/ 拉到最后在左侧栏


5.hdfs启动时,报JAVA home没有,怎么修改呢?


vi etc/hadoop/hadoop-env.sh

将export JAVA_HOME=${JAVA_HOME}改为

export JAVA_HOME=/usr/java/jdk1.8.0_45


6.假如java配置OK了,就是用不了,估计什么问题?(昨天小伙伴的问题)


权限问题 hadoop安装包解压后用户和用户组出现问题


7.hdfs的三个进程是什么?默认存储在哪?


DataNode

NameNode

SecondaryNameNode

默认存储在/tmp下


8.jps 发现进程不可用信息,生产上正确处理流程是什么?


ps -ef|grep pid看下是否存在


9.hdfs的web界面端口号是多少


50070


10.yarn的web界面端口号是多少


8088


11.假如让你们该这两个默认端口号,请问怎么改,去哪找?(跳跃思维)


可以去官网找相应配置说明

更改dfs.namenode.http-address及yarn.resourcemanager.webapp.address参数


12.mapreduce案例 jar,我也不记得路径在哪,该怎么办


在hadoop安装目录find ./  -name "example"


13.我们学习了第一个提交 jar到yarn平台,那么命令是什么


hadoop jar

目录
相关文章
|
6月前
|
存储 SQL 分布式计算
Hadoop数据整合
【5月更文挑战第9天】Hadoop数据整合
54 2
|
4月前
|
分布式计算 资源调度 安全
Hadoop停止所有Hadoop服务
【7月更文挑战第20天】
124 2
|
6月前
|
存储 分布式计算 Hadoop
Hadoop数据合并技巧
【5月更文挑战第10天】Hadoop数据合并技巧
105 2
|
6月前
|
存储 分布式计算 监控
Hadoop冗余数据存储
【4月更文挑战第13天】Hadoop的HDFS分布式文件系统通过数据块划分、冗余存储(副本创建)和多样化存储类型提升可靠性与扩展性。NameNode监控副本数量,确保数据安全。使用数据压缩算法节省空间,数据本地化优化提高效率。支持并行处理,实现高效大规模数据处理。
81 1
|
11月前
|
分布式计算 Hadoop Java
简单操作hadoop
简单操作hadoop
53 2
|
SQL 分布式计算 资源调度
hadoop伪分布式安装记录
hadoop伪分布式安装记录
195 0
|
存储 分布式计算 负载均衡
Hadoop常见命令总结
常见基础命令: • 启动Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/start-all.sh • 关闭Hadoop • 进入HADOOP_HOME目录。 • 执行sh bin/stop-all.sh
560 0
|
存储 机器学习/深度学习 资源调度
|
存储 资源调度 Java
|
存储 分布式计算 资源调度

相关实验场景

更多
下一篇
无影云桌面