编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装

简介: 编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装

一、获取相应版本的hadoop-eclipse-plugin


本人用的是2.2.0版本的插件,大家可以根据自己需求下载不同版本的插件,这里给出下载地址:

https://pan.baidu.com/s/1bBvVl2Wc-dQJzBujB_XAKA


提取码:0cn9


二、解压并配置相应环境


1.将hadoop-eclipse-plugin-2.6.0.jar,复制到eclipse安装目录下的plugins下。


20201027234752702.png


2.启动eclipse,点击Window中的Preferences


20201027235739155.png



进入后在Data Management那一栏找到Hadoop Map/Reduce,设置获取Hadoop路径(hadoop安装路径)。如果没找到则说明插件未安装成功,可能没刷新或者是版本不对。

20201028000005184.png

3.添加Map/Redure视图:


20201028010158171.png


4.设置New Hadoop location 

20201028010332574.png


右键新创建一个New hadoop location,我这里已经创建过了:



20201028010722799.png

连接之后刷新列表:


20201028010853319.png


出现小蓝像则说明连接成功。


三、编写测试类


1.创建一个Map/Redure Project,右键 –> New –> Other –> Map/Redure Project 。


20201028011201767.png

package test1;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
/**
 * MapReduce_WordCount
 * @author muster_hunter
 *
 */
public class WordCount {
    public static class WordCountMap extends
            Mapper<LongWritable, Text, Text, IntWritable> {
        private final IntWritable one = new IntWritable(1);
        private Text word = new Text();
        public void map(LongWritable key, Text value, Context context)
                throws IOException, InterruptedException {
            String line = value.toString();
            StringTokenizer token = new StringTokenizer(line);
            while (token.hasMoreTokens()) {
                word.set(token.nextToken());
                context.write(word, one);
            }
        }
    }
    public static class WordCountReduce extends
            Reducer<Text, IntWritable, Text, IntWritable> {
        public void reduce(Text key, Iterable<IntWritable> values,
                Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            context.write(key, new IntWritable(sum));
        }
    }
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = new Job(conf);
        job.setJarByClass(WordCount.class);
        job.setJobName("wordcount");
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        job.setMapperClass(WordCountMap.class);
        job.setReducerClass(WordCountReduce.class);
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        job.waitForCompletion(true);
    }
}

2.先运行一波该程序,不然在Configurations中找不到该程序的应用。右键Run As –> Run Configurations ,点击Arguments,填写输入目录,输出目录参数。



20201028011849458.png


3.运行之后检测结果:


20201028012013499.png



20201028012023889.png



完成MapReduce测试,可以进行编写MapReduce脚本了。


总结


安装不是很难,具体遇到什么错解决什么错,不是什么大问题。

目录
相关文章
|
23天前
|
Java Linux Android开发
linux下eclipse安装
linux下eclipse安装
39 0
|
23天前
|
存储 Java 开发工具
在Eclipse配置安装Android详细教程(新手)
在Eclipse配置安装Android详细教程(新手)
42 1
|
8天前
|
分布式计算 Hadoop Java
hadoop的基础设施-protobuf-2.5.0编译和安装
hadoop的基础设施-protobuf-2.5.0编译和安装
17 0
|
11天前
|
分布式计算 Hadoop Java
Hadoop MapReduce 调优参数
对于 Hadoop v3.1.3,针对三台4核4G服务器的MapReduce调优参数包括:`mapreduce.reduce.shuffle.parallelcopies`设为10以加速Shuffle,`mapreduce.reduce.shuffle.input.buffer.percent`和`mapreduce.reduce.shuffle.merge.percent`分别设为0.8以减少磁盘IO。
|
15天前
|
分布式计算 Hadoop 数据安全/隐私保护
现成Hadoop安装和配置,图文手把手交你
现成Hadoop安装和配置,图文手把手交你
|
21天前
|
分布式计算 并行计算 搜索推荐
Hadoop MapReduce计算框架
【5月更文挑战第10天】HadoopMapReduce计算框架
20 3
|
22天前
|
弹性计算 分布式计算 Hadoop
Linux(阿里云)安装Hadoop(详细教程+避坑)
Linux(阿里云)安装Hadoop(详细教程+避坑)
101 3
|
23天前
|
分布式计算 数据可视化 Hadoop
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
大数据实战——基于Hadoop的Mapreduce编程实践案例的设计与实现
|
23天前
|
存储 分布式计算 Hadoop
【分布式计算框架】Hadoop伪分布式安装
【分布式计算框架】Hadoop伪分布式安装
11 2
|
23天前
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
23 0
安装hadoop学习笔记

推荐镜像

更多