写程序几乎一大半的时间是调试,分布式程序调试的成本更高。 那么分布式的代码程序该如何调试呢?下面我们一起来 MapReduce 代码如何使用 Debug 来调试。
仍然以美国气象站为例子。
MapReduce 的Debug 调试
这里我们以 Temperature 为例
1、 在Temperature.java里进行改动
改动地方1 :
改为,
我们通过数组来传入输入路径和输出路径。
改动地方2:
改为,
2 、开启hadoop集群启动和链接
3 、在Temperature.java里的Map函数中打入断点,以及在Reducer函数中打入断点。
4、右键,debug as -> 1 Java Application ,来进行断点调试
5、出现以下界面
首先在Map函数里
6、查看key 、value 。知识点(系统键+Prt Sc Sys Rq进行抓图)
7、按F6,然后查看temperature值
8、按F6,查看weatherStationId 和 temperature
9 、点击
10 、再次查看key和value
11、按F6,查看temperature
12 、按F6,查看weatherStationId
13 、将Map中的断点放开,下面到Reducer
再到Reducer函数里
14 、Reducer中去,查看key和value
15、按下F6,查看sum
16 、然后,自己可以加断点,也可以放开断点,按F6往下走。
最后,全部放开,各部分调试都没问题,
17、返回界面
18 查看
即表明,03103气象站的平均气温是82.
其实 程序进入debug调试后,后续的调试步骤跟 Eclipse 调试 java程序是一样的,这里就不再赘述。
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5078045.html,如需转载请自行联系原作者