这篇文章记录下针对不同的hadoop版本进行服务部署的过程，希望可以帮到你们
- 安装docker hadoop2.7.0
- 一键部署docker hadoop3.0.0集群(一个master 三个slave)
- 安装docker hadoop 3.2.0
a、docker启动
b、docker compose方式启动
安装hadoop 2.7.0版本
安装命令
docker run --name hdfs2.7.3 -d -p 9000:9000 -p 50070:50070 georocket/hadoop-docker:2.7.3
50070是webui端口
9000是hdfs服务端口
查看启动结果
docker logs -f 529923fd985e65c6aa1dab32b51acfc3bb4de94042b9079b8d1e62e760766821 从日志中可以看出 启动方式-启动用户-启动服务 hadoop-root-namenode hadoop-root-datanode hadoop-root-secondarynamenode yarn--resourcemanager yarn-root-nodemanager mapred--historyserver
hadoop相关端口
docker ps|grep hadoop 529923fd985e georocket/hadoop-docker:2.7.3 "/etc/bootstrap.sh -d" 36 minutes ago Up 36 minutes 2122/tcp, 8020/tcp, 8030-8033/tcp, 8040/tcp, 8042/tcp, 8088/tcp, 10020/tcp, 19888/tcp, 49707/tcp, 50010/tcp, 0.0.0.0:9000->9000/tcp, 50020/tcp, 50075/tcp, 50090/tcp, 0.0.0.0:50070->50070/tcp hdfs2.7.3
进入docker中 运行hadoop mapreduce
docker exec -it 529923fd985e65c6aa1dab32b51acfc3bb4de94042b9079b8d1e62e760766821 sh 进入hadoop目录 cd $HADOOP_PREFIX
执行mapreduce程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' 计算结果保存在了 hdfs://529923fd985e:9000/user/root/output
