hadoop编写Mapper类

简介: 【7月更文挑战第10天】

image.png
在Hadoop MapReduce中,Mapper类主要用于处理输入数据并将其转换为中间键值对。下面是一个基本的Mapper类示例,使用Java编写,该示例将文本文件中的每一行作为输入,并将每个单词映射为其出现次数(1)。

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable> {
   
   

  private final static IntWritable one = new IntWritable(1);
  private Text word = new Text();

  public void map(LongWritable key, Text value, Context context) 
          throws IOException, InterruptedException {
   
   
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
   
   
            word.set(tokenizer.nextToken());
            context.write(word, one);
        }
    }
}

在这个例子中:

  • WordCountMapper 类扩展了 Mapper 类。
  • map() 方法是主要的映射逻辑,它接收一个键(行号,类型为 LongWritable),一个值(行内容,类型为 Text),以及一个 Context 对象来写入中间结果。
  • 使用 StringTokenizer 将每行分割成单词。
  • 每个单词被设置为 word 对象,然后与 one 对象一起写入上下文,表示该单词出现一次。

注意,你需要根据你的具体需求来调整这个示例,例如更改输入和输出类型,或者修改映射逻辑。

目录
相关文章
|
1月前
|
SQL 分布式计算 Java
Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作
Hadoop-11-MapReduce JOIN 操作的Java实现 Driver Mapper Reducer具体实现逻辑 模拟SQL进行联表操作
31 3
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
92 3
|
4月前
|
存储 分布式计算 Hadoop
hadoop编写Reducer类
【7月更文挑战第10天】
41 3
|
4月前
|
分布式计算 Hadoop Java
Hadoop编写Combiner类
【7月更文挑战第7天】
25 3
|
11月前
|
分布式计算 Hadoop 大数据
|
存储 分布式计算 自然语言处理
Hadoop序列化、概述、自定义bean对象实现序列化接口(Writable)、序列化案例实操、编写流量统计的Bean对象、编写Mapper类、编写Reducer类、编写Driver驱动类
Hadoop序列化、概述、自定义bean对象实现序列化接口(Writable)、序列化案例实操、编写流量统计的Bean对象、编写Mapper类、编写Reducer类、编写Driver驱动类
Hadoop序列化、概述、自定义bean对象实现序列化接口(Writable)、序列化案例实操、编写流量统计的Bean对象、编写Mapper类、编写Reducer类、编写Driver驱动类
|
分布式计算 Java Hadoop
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
149 6

相关实验场景

更多