多 Job 串联案例第一个 Job |学习笔记

简介: 快速学习 多 Job 串联案例第一个 Job

开发者学堂课程【Hadoop 企业优化及扩展案例:多 Job 串联案例第一个 Job】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/96/detail/1573


多 Job 串联案例第一个 Job


目录:

一、编写 OneIndexMapper 类

二、写 Mapper 方法

三、写 Reduce 方法

四、驱动

 

1. 编写 OneIndexMapper 类

public class OneIndexMapper extends Mapper(String name;@Overrideprotected void setup(Mapper  Context context)throws I0Exception, InterruptedException f
//获取文件名称
FileSplit inputSplit = (FileSplit) context. getInputSplit();name=inputSplit. getPath() . getName();@Overrideprotected void map(LongWritable key, Text value, Mapper . Context context)throws I0Exception, InterruptedException {


2.写 Mapper 方法

protected void map(LongWritable key, Text value, Mapper .Context context)throws I0Exception, InterruptedException f//atguigu pingping
// 1获取一行
String line = value . toString();
//2切割
String[] fields = line.split(" ");
//写出
for(String word : fields) {
k.set(word+"--"+name);

context.write(k, v);

}

 

3.写 Reduce 方法


public class OneIndexReducer extends ReducerfIntWritable V = new IntWritable();@0verrideprotected void reduce(Text key, Iterable values,Context context) throws I0Exception, InterruptedException {int sum= 0;//1累加求和for (IntWritable value : values) {

sum += value.get();
v.set(sum);
//写出
context .write(key, v);

}


4.驱动

图片25.png

相关文章
|
4月前
|
Shell 开发工具 Docker
GitlabCI学习笔记之二:GitLabRunner pipeline语法之job script stages
GitlabCI学习笔记之二:GitLabRunner pipeline语法之job script stages
|
Java
67 Azkaban Command类型单一job示例
67 Azkaban Command类型单一job示例
41 0
67 Azkaban Command类型单一job示例
|
Kubernetes API Python
【K8S系列】深入解析Job(上))
【K8S系列】深入解析Job
576 0
|
Kubernetes API 调度
【K8S系列】深入解析Job(下)
【K8S系列】深入解析Job
218 0
|
分布式计算 并行计算 数据处理
|
存储 负载均衡 算法
|
运维
Elastic Job进阶--作业是如何被立即触发的
Elastic Job进阶--作业是如何被立即触发的
|
分布式计算 大数据 调度
Spark 原理_运行过程_Job 和 Stage 的关系 | 学习笔记
快速学习 Spark 原理_运行过程_Job 和 Stage 的关系
164 0
Spark 原理_运行过程_Job 和 Stage 的关系 | 学习笔记
|
存储 分布式计算 大数据
Spark 原理_运行过程_stage 和 task 的关系 | 学习笔记
快速学习 Spark 原理_运行过程_stage 和 task 的关系
210 0
Spark 原理_运行过程_stage 和 task 的关系 | 学习笔记
|
分布式计算 关系型数据库 MySQL
Job 作业的使用--创建、查看、执行、删除 | 学习笔记
快速学习 Job 作业的使用--创建、查看、执行、删除
385 0
Job 作业的使用--创建、查看、执行、删除 | 学习笔记