WordCount 案例 Mapper| 学习笔记

简介: 快速学习 WordCount 案例 Mapper

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:WordCount 案例Mapper】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1482


WordCount 案例 Mapper

 

简介:

1、环境准备

2、编写程序

 

1、环境准备:

图片 1.png

图片 2.png

图片 5.png

图片 6.png(1)(2)在 pom.xm1 文件中添加如下依赖

<dependencies>

<dependency>

<groupId>junit</ groupId>

<artifactId>junit</ artifactId>

<version>RELEASE</ version>

</ dependency>

<dependency>

<groupId>org.apache. logging. log4j</groupId>

<artifactId>log4j-core</ artifactId>

<version>2.8.2</version>

</ dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-common</ artifactId>

<version>2.7.2</ version>

</ dependency>

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-client</ artifactId>

<version>2.7.2</ version>

</ dependency>v

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-hdfs</ artifactId>

<version>2.7.2</ version>

</ dependencv>

</dependencies>

<aroupId>orq.apache.hadoop</ aroupId>

<veision>2.7.2</ version>

</ dependency>

</dependencies>v

(2)在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在

文件中填入。

log4j.rootLogger=INFO,stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.

log4j.PatternLayout.log4j.appender.stdout.layout. ConversionPattern=%d sp [%c]-%m%n”

log4j.appender.logfile=org.apache

log4j.FileAppender.log4j.appender. logfile.File=target /spring .log-

log4j.appender.logfile.layout=org.apache

log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%dp[%c]

-%m%n·


2、编写程序

(1)编写 Mapper 类

package com . atguigu.mapreduce;

import java.io.IOException;

irmport org.apache . hadoop.io.Intwritable;

import org.apache.hadoop.io.LongWritable;

irmport org.apache .hadoop.io.Tezt;-

import org.apache.hadoop.mapreduce.Mapper;

public class WordcountMapper extends Mapper<Longwritable,Text,Text,Intwritable>(

Text k = new Text(;

Intwritable v - new Intwritable ( 1);

override

图片 11.png

相关文章
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
98 3
|
5月前
|
分布式计算 Hadoop Java
hadoop编写Mapper类
【7月更文挑战第10天】
31 2
|
6月前
|
分布式计算 资源调度 Java
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
Scala+Spark+Hadoop+IDEA实现WordCount单词计数,上传并执行任务(简单实例-下)
64 0
|
SQL 分布式计算 Java
Spark入门以及wordcount案例代码
Spark入门以及wordcount案例代码
|
分布式计算 大数据 Spark
|
分布式计算 Java Hadoop
java:MapReduce原理及入门实例:wordcount
java:MapReduce原理及入门实例:wordcount
183 0
java:MapReduce原理及入门实例:wordcount
|
资源调度 分布式计算 Java
MapReduce入门例子之WordCount单词计数
MapReduce入门例子之WordCount单词计数
173 0
MapReduce入门例子之WordCount单词计数
|
分布式计算 Java Hadoop
WordCount 案例 Mapper| 学习笔记
快速学习 WordCount 案例 Mapper
128 0
WordCount 案例 Mapper|  学习笔记
|
存储 分布式计算 Java
WordCount 案例测试| 学习笔记
快速学习 WordCount 案例测试
175 0
WordCount  案例测试| 学习笔记
|
分布式计算 Hadoop Java
WordCount 案例分析| 学习笔记
快速学习 WordCount 案例分析
145 0
WordCount 案例分析| 学习笔记