Hadoop MapReduce概念学习系列之如何进行DeBug调试(二十五)

简介:

 写程序几乎一大半的时间是调试,分布式程序调试的成本更高。 那么分布式的代码程序该如何调试呢?下面我们一起来 MapReduce 代码如何使用 Debug 来调试。

 

  仍然以美国气象站为例子。

MapReduce 的Debug 调试

        这里我们以 Temperature 为例

1、 在Temperature.java里进行改动

  改动地方1 :

  改为,

  我们通过数组来传入输入路径和输出路径。

 

 

  改动地方2:

 

改为,

 

  2 、开启hadoop集群启动和链接

  3 、在Temperature.java里的Map函数中打入断点,以及在Reducer函数中打入断点。

 

  4、右键,debug as   ->   1 Java  Application  ,来进行断点调试

 

  5、出现以下界面

 

首先在Map函数里

  6、查看key 、value 。知识点(系统键+Prt Sc Sys Rq进行抓图)

 

  7、按F6,然后查看temperature值

 

  8、按F6,查看weatherStationId 和 temperature

 

  9 、点击

 

  10 、再次查看key和value

 

  11、按F6,查看temperature

 

  12 、按F6,查看weatherStationId

 

  13 、将Map中的断点放开,下面到Reducer

  再到Reducer函数里

 

  14 、Reducer中去,查看key和value

 

  15、按下F6,查看sum

 

  16 、然后,自己可以加断点,也可以放开断点,按F6往下走。

  最后,全部放开,各部分调试都没问题,

 

  17、返回界面

 

  18 查看

  即表明,03103气象站的平均气温是82.

其实 程序进入debug调试后,后续的调试步骤跟 Eclipse 调试 java程序是一样的,这里就不再赘述。

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5078045.html,如需转载请自行联系原作者

相关文章
|
13天前
|
存储 分布式计算 Hadoop
Hadoop Distributed File System (HDFS): 概念、功能点及实战
【6月更文挑战第12天】Hadoop Distributed File System (HDFS) 是 Hadoop 生态系统中的核心组件之一。它设计用于在大规模集群环境中存储和管理海量数据,提供高吞吐量的数据访问和容错能力。
75 4
|
11天前
|
分布式计算 Hadoop Java
Hadoop MapReduce编程
该教程指导编写Hadoop MapReduce程序处理天气数据。任务包括计算每个城市ID的最高、最低气温、气温出现次数和平均气温。在读取数据时需忽略表头,且数据应为整数。教程中提供了环境变量设置、Java编译、jar包创建及MapReduce执行的步骤说明,但假设读者已具备基础操作技能。此外,还提到一个扩展练习,通过分区功能将具有相同尾数的数字分组到不同文件。
16 1
|
19天前
|
数据采集 SQL 分布式计算
|
11天前
|
存储 分布式计算 Hadoop
Hadoop生态系统详解:HDFS与MapReduce编程
Apache Hadoop是大数据处理的关键,其核心包括HDFS(分布式文件系统)和MapReduce(并行计算框架)。HDFS为大数据存储提供高容错性和高吞吐量,采用主从结构,通过数据复制保证可靠性。MapReduce将任务分解为Map和Reduce阶段,适合大规模数据集的处理。通过代码示例展示了如何使用MapReduce实现Word Count功能。HDFS和MapReduce的结合,加上YARN的资源管理,构成处理和分析大数据的强大力量。了解和掌握这些基础对于有效管理大数据至关重要。【6月更文挑战第12天】
30 0
|
12天前
|
分布式计算 Java Hadoop
简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行
简单的java Hadoop MapReduce程序(计算平均成绩)从打包到提交及运行
13 0
|
13天前
|
分布式计算 Hadoop Java
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
使用Hadoop MapReduce分析邮件日志提取 id、状态 和 目标邮箱
|
10月前
|
数据采集 分布式计算 搜索推荐
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(一)
|
10月前
|
存储 分布式计算 Hadoop
Hadoop基础学习---6、MapReduce框架原理(一)
Hadoop基础学习---6、MapReduce框架原理(一)
|
11月前
|
存储 分布式计算 Hadoop
【Hadoop】一个例子带你了解MapReduce
【Hadoop】一个例子带你了解MapReduce
74 1
|
10月前
|
数据采集 缓存 分布式计算
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(二)
Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结(二)

相关实验场景

更多