多 Job 串联案例第一个 Job |学习笔记

简介: 快速学习 多 Job 串联案例第一个 Job

开发者学堂课程【Hadoop 企业优化及扩展案例:多 Job 串联案例第一个 Job】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/96/detail/1573


多 Job 串联案例第一个 Job


目录:

一、编写 OneIndexMapper 类

二、写 Mapper 方法

三、写 Reduce 方法

四、驱动

 

1. 编写 OneIndexMapper 类

public class OneIndexMapper extends Mapper(String name;@Overrideprotected void setup(Mapper  Context context)throws I0Exception, InterruptedException f
//获取文件名称
FileSplit inputSplit = (FileSplit) context. getInputSplit();name=inputSplit. getPath() . getName();@Overrideprotected void map(LongWritable key, Text value, Mapper . Context context)throws I0Exception, InterruptedException {


2.写 Mapper 方法

protected void map(LongWritable key, Text value, Mapper .Context context)throws I0Exception, InterruptedException f//atguigu pingping
// 1获取一行
String line = value . toString();
//2切割
String[] fields = line.split(" ");
//写出
for(String word : fields) {
k.set(word+"--"+name);

context.write(k, v);

}

 

3.写 Reduce 方法


public class OneIndexReducer extends ReducerfIntWritable V = new IntWritable();@0verrideprotected void reduce(Text key, Iterable values,Context context) throws I0Exception, InterruptedException {int sum= 0;//1累加求和for (IntWritable value : values) {

sum += value.get();
v.set(sum);
//写出
context .write(key, v);

}


4.驱动

图片25.png

相关文章
|
存储 Java BI
XXL-JOB定时任务知识点和应用实例
XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。该处只是介绍xxl_job的一下基础知识和使用的实例,具体的安装调试请参照对应的最新的官方文档,中文开源地址:https://www.xuxueli.com/xxl-job
3634 0
|
4月前
|
存储 监控 算法
XXL-JOB内部机制大揭秘:让任务调度飞起来
【8月更文挑战第14天】在大数据时代,高效的任务调度系统是支撑业务稳定运行与快速迭代的基石。XXL-JOB,作为一款轻量级、分布式任务调度平台,凭借其灵活的配置、强大的扩展性和高可用特性,在众多任务调度框架中脱颖而出。今天,我们就来深入揭秘XXL-JOB的内部机制,看看它是如何让任务调度“飞起来”的。
284 0
|
Java
67 Azkaban Command类型单一job示例
67 Azkaban Command类型单一job示例
43 0
67 Azkaban Command类型单一job示例
|
Kubernetes API 调度
【K8S系列】深入解析Job(下)
【K8S系列】深入解析Job
224 0
|
Kubernetes API Python
【K8S系列】深入解析Job(上))
【K8S系列】深入解析Job
593 0
xxl-job 在业务代码中添加任务
看官方文档里面介绍的添加任务的方法都是在调度器的管理页面手动添加任务,但是现在我的需求是在业务代码里面用代码添加任务
|
存储 负载均衡 算法
|
运维
Elastic Job进阶--作业是如何被立即触发的
Elastic Job进阶--作业是如何被立即触发的
301 0
|
分布式计算 大数据 调度
Spark 原理_运行过程_Job 和 Stage 的关系 | 学习笔记
快速学习 Spark 原理_运行过程_Job 和 Stage 的关系
167 0
Spark 原理_运行过程_Job 和 Stage 的关系 | 学习笔记
|
编解码 运维 Shell
ASK 运行Job 任务| 学习笔记
快速学习 ASK 运行Job 任务
ASK 运行Job 任务| 学习笔记

相关实验场景

更多