[Hadoop]Hadoop本地调试

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72912058 1.
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/SunnyYoona/article/details/72912058

1. Maven依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.7.2</version>
</dependency>

<dependency>
    <groupId>junit</groupId>
    <artifactId>junit</artifactId>
    <version>4.12</version>
</dependency>

2. 调试设置

本地调试需要设置两点:

conf.set("fs.default.name", "file:///");
conf.set("mapred.job.tracker", "local");

这样MapReduce程序就不会读取HDFS目录上的文件,而是读取本地文件,如果不设置,就会找不到对应的文件而报错:

org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/home/xiaosi/test/input/maxTemperature

	at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:323)
	at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:265)
	at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:387)
	...
	at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:119)
	at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:42)
	at com.intellij.rt.execution.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:234)
	at com.intellij.rt.execution.junit.JUnitStarter.main(JUnitStarter.java:74)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at com.intellij.rt.execution.application.AppMain.main(AppMain.java:144)

3. 程序设置

我们在调试代码中对配置文件进行更改,传给MapReduce程序:

maxTemperature.setConf(conf);

创建Job作业时必须使用如下方式指定我们设置的配置文件,否则读取不到我们更改的设置:

Configuration conf = this.getConf();
Job job = Job.getInstance(conf);

而不能使用:

Job job = Job.getInstance();

这样是不会读取我们更改的配置,只是读取默认配置,程序会去HDFS目录上找我们的输入文件而找不到报错.

4. 示例

4.1 本地调试代码

package com.sjf.open;

import com.sjf.open.maxTemperature.MaxTemperature;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

import static org.hamcrest.CoreMatchers.is;
import static org.hamcrest.MatcherAssert.assertThat;

import org.junit.Before;
import org.junit.Test;

/**
 * Created by xiaosi on 17-6-8.
 */
public class MapReduceTest {
    private Configuration conf = new Configuration();
    private Path inputPath;
    private Path outputPath;

    private String baseInputStr = "/home/xiaosi/test/input";
    private String outputStr = "/home/xiaosi/test/output";


    @Before
    public void setUp() throws IOException {
        conf.set("fs.default.name", "file:///");
        conf.set("mapred.job.tracker", "local");

        outputPath = new Path(outputStr);

        FileSystem fileSystem = FileSystem.getLocal(conf);
        fileSystem.delete(outputPath, true);
    }

    @Test
    public void MapReduceTest() throws Exception {

        String path = baseInputStr + "/maxTemperature";
        inputPath = new Path(path);
        outputPath = new Path(outputStr);

        MaxTemperature maxTemperature = new MaxTemperature();
        maxTemperature.setConf(conf);

        int exitCode = maxTemperature.run(new String[] {inputPath.toString(), outputPath.toString()});
        assertThat(exitCode, is(0));
    }
}

4.2 程序Main代码

package com.sjf.open.maxTemperature;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.GzipCodec;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.io.IOException;

/**
 * Created by xiaosi on 16-7-27.
 */
public class MaxTemperature extends Configured implements Tool{

    public static void main(String[] args) throws Exception {
        int status = ToolRunner.run(new MaxTemperature(), args);
        System.exit(status);
    }

    @Override
    public int run(String[] args) throws Exception {
        if(args.length != 2){
            System.err.println("Usage: MaxTemperature <input path> <output path>");
            System.exit(-1);
        }

        String inputPath = args[0];
        String outputPath = args[1];

        Configuration conf = this.getConf();
        conf.setBoolean("mapred.output.compress", true);
        conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class);

        Job job = Job.getInstance(conf);

        job.setJarByClass(MaxTemperature.class);
        job.setMapperClass(MaxTemperatureMapper.class);
        job.setReducerClass(MaxTemperatureReducer.class);

        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);

        FileInputFormat.addInputPath(job, new Path(inputPath));
        FileOutputFormat.setOutputPath(job, new Path(outputPath));

        boolean success = job.waitForCompletion(true);
        return success ? 0 : 1;
    }
}
目录
相关文章
|
分布式计算 Java Hadoop
|
分布式计算 Hadoop Java
hadoop的调试
折腾hadoop的调试很久了,一直都没折腾对,查过很多资料,但是都没试出来,最终在不断地尝试当中调试出来了,所以想把这个过程记录下来,和大家分享一下。 调试分为两部分,MapReduce的调试和源码的调试。MapReduce的调试很简单,首先要部署好hadoop,这个我就不说了,自己去百度。部
1846 0
|
分布式计算 Hadoop
Hadoop开启、关闭调试信息方法
<div class="multicntwrap" style="font-family:'lucida Grande',Verdana,'Microsoft YaHei'; font-size:14px; line-height:23.8px"> <div class="multicnt"> <h3 class="title pre fs1" style="font-size:16p
3285 0
|
分布式计算 Java Hadoop
Hadoop 调试第一个mapreduce程序过程详细记录总结
     开发环境搭建参考     :http://blog.itpub.net/26230597/viewspace-1370205/ 1,程序代码如下: package wc; import java.
1182 0
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
155 6
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
65 2
|
20天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
71 2
|
21天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
59 1