新建相关目录文件夹
[hadoop@doris ~]$ sudo mkdir -p /home/hadoop_data/tmp [hadoop@doris ~]$ sudo mkdir -p /home/hadoop_data/dfs/nn [hadoop@master ~]$ sudo mkdir -p /home/hadoop_data/dfs/dn
修改 Hadoop 文件属主权限
[hadoop@master ~]$ sudo chown -R hadoop:hadoop /usr/hadoop [hadoop@master ~]$ sudo chown -R hadoop:hadoop /home/hadoop_data/
启动 Hadoop 服务
#切换用户 su hadoop #格式化 namenode(master节点->我这台单节点hostname为doris) hdfs namenode -format #启动 hadoop(master 节点) start-all.sh #停止 hadoop集群 stop-all.sh
查看 hadoop 的守护进程
jps -l
常见问题
启动时无权限
Hadoop错误日志
进程错误日志
解决方法
#即使单节点也需要配密钥 ssh-keygen -t rsa #将公钥发送到要免密登陆的节点上(包括本机) ssh-copy-id -i hadoop@doris #验证是否成功 cat /etc/hostname ssh doris
常用默认端口验证
- 1.yarn web:8088
- 2.hadoop web:50070
单节点部署hadoop至此结束,若想搭建hadoop集群、只需在此基础上增加worker、密钥分发及各xml的slave信息即可