Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

简介:

 写程序几乎一大半的时间是调试,分布式程序调试的成本更高。 那么分布式的代码程序该如何调试呢?下面我们一起来 MapReduce 代码如何使用 Debug 来调试。

 

  仍然以美国气象站为例子。

MapReduce 的Debug 调试

        这里我们以 Temperature 为例

1、 在Temperature.java里进行改动

  改动地方1 :

  改为,

  我们通过数组来传入输入路径和输出路径。

 

 

  改动地方2:

 

改为,

 

  2 、开启hadoop集群启动和链接

  3 、在Temperature.java里的Map函数中打入断点,以及在Reducer函数中打入断点。

 

  4、右键,debug as   ->   1 Java  Application  ,来进行断点调试

 

  5、出现以下界面

 

首先在Map函数里

  6、查看key 、value 。知识点(系统键+Prt Sc Sys Rq进行抓图)

 

  7、按F6,然后查看temperature值

 

  8、按F6,查看weatherStationId 和 temperature

 

  9 、点击

 

  10 、再次查看key和value

 

  11、按F6,查看temperature

 

  12 、按F6,查看weatherStationId

 

  13 、将Map中的断点放开,下面到Reducer

  再到Reducer函数里

 

  14 、Reducer中去,查看key和value

 

  15、按下F6,查看sum

 

  16 、然后,自己可以加断点,也可以放开断点,按F6往下走。

  最后,全部放开,各部分调试都没问题,

 

  17、返回界面

 

  18 查看

  即表明,03103气象站的平均气温是82.

其实 程序进入debug调试后,后续的调试步骤跟 Eclipse 调试 java程序是一样的,这里就不再赘述。

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5078045.html,如需转载请自行联系原作者

相关文章
|
1月前
|
存储 分布式计算 Hadoop
Hadoop Distributed File System (HDFS): 概念、功能点及实战
【6月更文挑战第12天】Hadoop Distributed File System (HDFS) 是 Hadoop 生态系统中的核心组件之一。它设计用于在大规模集群环境中存储和管理海量数据,提供高吞吐量的数据访问和容错能力。
344 4
|
1月前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
29 1
|
1月前
|
数据采集 SQL 分布式计算
|
2月前
|
存储 分布式计算 Hadoop
Hadoop节点数据块概念与功能
【5月更文挑战第21天】
48 1
|
2月前
|
存储 分布式计算 Hadoop
hadoop节点HDFS数据块基本概念
【5月更文挑战第19天】
38 1
|
2月前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
|
1月前
|
存储 分布式计算 Hadoop
Hadoop生态系统详解:HDFS与MapReduce编程
Apache Hadoop是大数据处理的关键,其核心包括HDFS(分布式文件系统)和MapReduce(并行计算框架)。HDFS为大数据存储提供高容错性和高吞吐量,采用主从结构,通过数据复制保证可靠性。MapReduce将任务分解为Map和Reduce阶段,适合大规模数据集的处理。通过代码示例展示了如何使用MapReduce实现Word Count功能。HDFS和MapReduce的结合,加上YARN的资源管理,构成处理和分析大数据的强大力量。了解和掌握这些基础对于有效管理大数据至关重要。【6月更文挑战第12天】
63 0
|
1月前
|
分布式计算 Java Hadoop
简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行
简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行
32 0
|
1月前
|
分布式计算 Hadoop Java
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
|
1月前
|
分布式计算 Hadoop 分布式数据库
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
Hadoop生态系统介绍(二)大数据技术Hadoop入门理论系列之一----hadoop生态圈介绍
101 2

相关实验场景

更多