多 Job 串联案例第一个 Job |学习笔记

简介: 快速学习 多 Job 串联案例第一个 Job

开发者学堂课程【Hadoop 企业优化及扩展案例:多 Job 串联案例第一个 Job】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/96/detail/1573


多 Job 串联案例第一个 Job


目录:

一、编写 OneIndexMapper 类

二、写 Mapper 方法

三、写 Reduce 方法

四、驱动

 

1. 编写 OneIndexMapper 类

public class OneIndexMapper extends Mapper(String name;@Overrideprotected void setup(Mapper  Context context)throws I0Exception, InterruptedException f
//获取文件名称
FileSplit inputSplit = (FileSplit) context. getInputSplit();name=inputSplit. getPath() . getName();@Overrideprotected void map(LongWritable key, Text value, Mapper . Context context)throws I0Exception, InterruptedException {


2.写 Mapper 方法

protected void map(LongWritable key, Text value, Mapper .Context context)throws I0Exception, InterruptedException f//atguigu pingping
// 1获取一行
String line = value . toString();
//2切割
String[] fields = line.split(" ");
//写出
for(String word : fields) {
k.set(word+"--"+name);

context.write(k, v);

}

 

3.写 Reduce 方法


public class OneIndexReducer extends ReducerfIntWritable V = new IntWritable();@0verrideprotected void reduce(Text key, Iterable values,Context context) throws I0Exception, InterruptedException {int sum= 0;//1累加求和for (IntWritable value : values) {

sum += value.get();
v.set(sum);
//写出
context .write(key, v);

}


4.驱动

图片25.png

相关文章
|
3天前
|
分布式计算 并行计算 大数据
Spark学习---day02、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
Spark学习---day02、Spark核心编程 RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
|
3天前
|
分布式计算 Java Scala
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
Spark学习---day03、Spark核心编程(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
|
9月前
|
存储 分布式计算 并行计算
Spark学习---2、SparkCore(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
Spark学习---2、SparkCore(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(一)
|
6月前
|
Java
67 Azkaban Command类型单一job示例
67 Azkaban Command类型单一job示例
26 0
67 Azkaban Command类型单一job示例
|
7月前
|
Kubernetes API 调度
【K8S系列】深入解析Job(下)
【K8S系列】深入解析Job
105 0
|
7月前
|
Kubernetes API Python
【K8S系列】深入解析Job(上))
【K8S系列】深入解析Job
214 0
|
9月前
|
存储 分布式计算 对象存储
Spark学习---2、SparkCore(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
Spark学习---2、SparkCore(RDD概述、RDD编程(创建、分区规则、转换算子、Action算子))(二)
|
11月前
|
存储 负载均衡 算法
|
12月前
|
运维
Elastic Job进阶--作业是如何被立即触发的
Elastic Job进阶--作业是如何被立即触发的
|
分布式计算 大数据 调度
Spark 原理_运行过程_Job 和 Stage 的关系 | 学习笔记
快速学习 Spark 原理_运行过程_Job 和 Stage 的关系
120 0
Spark 原理_运行过程_Job 和 Stage 的关系 | 学习笔记

相关实验场景

更多