WordCount 案例 Mapper| 学习笔记

简介: 快速学习 WordCount 案例 Mapper

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例Mapper】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1482


WordCount 案例 Mapper

 

简介:

1、环境准备

2、编写程序

 

1、环境准备:

图片 1.png

图片 2.png

图片 5.png

图片 6.png(1)(2)在 pom.xm1 文件中添加如下依赖

<dependencies>

<dependency>

<groupId>junit</ groupId>

<artifactId>junit</ artifactId>

<version>RELEASE</ version>

</ dependency>

<dependency>

<groupId>org.apache. logging. log4j</groupId>

<artifactId>log4j-core</ artifactId>

<version>2.8.2</version>

</ dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</ artifactId>

<version>2.7.2</ version>

</ dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</ artifactId>

<version>2.7.2</ version>

</ dependency>v

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-hdfs</ artifactId>

<version>2.7.2</ version>

</ dependencv>

</dependencies>

<aroupId>orq.apache.hadoop</ aroupId>

<veision>2.7.2</ version>

</ dependency>

</dependencies>v

(2)在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在

文件中填入。

log4j.rootLogger=INFO,stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.

log4j.PatternLayout.log4j.appender.stdout.layout. ConversionPattern=%d sp [%c]-%m%n”

log4j.appender.logfile=org.apache

log4j.FileAppender.log4j.appender. logfile.File=target /spring .log-

log4j.appender.logfile.layout=org.apache

log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%dp[%c]

-%m%n·


2、编写程序

(1)编写 Mapper 类

package com . atguigu.mapreduce;

import java.io.IOException;

irmport org.apache . hadoop.io.Intwritable;

import org.apache.hadoop.io.LongWritable;

irmport org.apache .hadoop.io.Tezt;-

import org.apache.hadoop.mapreduce.Mapper;

public class WordcountMapper extends Mapper<Longwritable,Text,Text,Intwritable>(

Text k = new Text(;

Intwritable v - new Intwritable ( 1);

override

图片 11.png

相关文章
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
81 3
|
2月前
|
分布式计算 数据库
Mapreduce中的Mapper&reducer
【9月更文挑战第19天】在 MapReduce 框架中,Mapper 和 Reducer 是处理大规模数据集的关键组件。Mapper 负责将输入数据分割成键值对,而 Reducer 则对这些键值对进行汇总处理,生成最终结果。两者通过并行处理和分布式计算协同工作,Mapper 将数据转换为键值对,Reducer 对相同键的值进行聚合。开发人员需实现相应接口并编写定制逻辑,以充分利用框架优势,处理大规模数据集并获得有价值的结果。
|
4月前
|
分布式计算 Hadoop Java
hadoop编写Mapper类
【7月更文挑战第10天】
28 2
|
6月前
|
Java 数据格式
手写WordCount示例编写
手写WordCount示例编写
35 0
|
分布式计算 Hadoop Java
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
71 0
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
分布式计算 Hadoop Java
动手写的第一个MapReduce程序--wordcount
动手写的第一个MapReduce程序--wordcount
115 0
|
Java 数据库连接 Windows
【实践案例】Mybatis plus mapper文件中in查询配置
【实践案例】Mybatis plus mapper文件中in查询配置
784 0
|
资源调度 分布式计算 Java
MapReduce入门例子之WordCount单词计数
MapReduce入门例子之WordCount单词计数
170 0
MapReduce入门例子之WordCount单词计数
|
分布式计算 Java Hadoop
WordCount 案例 Mapper| 学习笔记
快速学习 WordCount 案例 Mapper
124 0
WordCount 案例 Mapper|  学习笔记