本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.3.5节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
2.3.5 动手实践:运行MapReduce任务
实验步骤如下:
1)上传/root/anaconda-ks.cfg文件到HDFS文件系统/user/root目录;
2)使用yarn jar的方式提交任务,其中,
- jar文件:$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar
- 主类为:wordcount
- 输入参数:/user/root/anaconda-ks.cfg
- 输出参数:/user/root/wc_00
3)查看输出运行结果;
4)使用mapred job命令查看任务状态及对应日志输出;
5)再次执行任务,查看输出信息;
6)产生一个大数据文件,上传到HDFS,使用该大数据文件执行单词计数MapReduce任务,在执行到一半后,使用mapred job的kill命令,杀死该任务,查看相关输出信息。
思考:
1)执行第5步的时候会报错吗?报什么错?怎么解决?
2)可以在Hadoop IDE中直接提交Job吗?如果可以怎么做?如果不可以,为什么?