从日志中可以看到这些关键信息
客户端连接ResourceManager资源管理器 对应端口是8032 client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032 提交一个mapreduce任务到 8088端口 mapreduce.Job: The url to track the job: http://529923fd985e:8088/proxy/application_1603590135211_0004/
查看计算结果
bin/hdfs dfs -cat output/*
安装hadoop 3.0.0
安装hadoop 3.1.1集群
一键启动脚本
https://gitee.com/pingfanrenbiji/docker-hadoop
进入master容器
docker exec -it master sh
格式化hdfs
hadoop namenode -format
启动hadoop
cd /usr/local/hadoop-3.1.1/sbin ./start-all.sh
启动docker服务
# 启动hadoop 3.2.0 docker run --rm --name hadoop -p 9870:9870 -p 9864:9864 -d crs4/hadoop:3.2.0 # 进入docker docker exec -it hadoop bash -l # 创建一个目录 hdfs dfs -mkdir -p "/user/$(whoami)" # 上传文件 hdfs dfs -put entrypoint.sh # 打印hadoop版本 export V=$(hadoop version | head -n 1 | awk '{print $2}') # 提交hadoop任务 hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-${V}.jar wordcount entrypoint.sh wc_out # 运行hadoop任务 hdfs dfs -get wc_out # 获取计算结果 head wc_out/part*
通过docker-compose启动
docker-compose up -d
进入client
docker-compose exec client bash hdfs dfs -mkdir -p "/user/$(whoami)"
