序列化案列 Driver| 学习笔记

简介: 快速学习序列化案列 DriverDriver

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:序列化案列 Driver】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1495


序列化案列 Driver


目录:

1. 获取 job 对象

2. 设置 jar 的路径

3. 关联 mapper 和 reducer

4. 设置 mapper 输出的 key 和 value 类型

5. 设置最终输出的 key 和 value 类型

6. 设置输入输出路径

7. 提交 job

 

1.获取 job 对象

Job job=Job.getInstance(conf);


2.设置 jar 的路径

job.setJarByClass(FlowsumDriver.class);


3.关联 mapper 和 reducer

job.setMapperClass(FlowCountMapper.class);

job. setReducerClass (FlowCountReducer. class);


4.设置 mapper 输出的 key 和 value 类型

job. setMapOutputKeyClass (Text. class);

job. setMapOutputValueClass (FlowBean. class);


5. 设置最终输出的 key 和 value 类型

job.setoutputkey Class (Text. class);

job.setoutputValueClass(FlowBean.class);


6.设置输入输出路径

FileInputFormat. setInputPaths (job, new Path (args[0]));

FileOutputFormat.setoutputPath(job,newPath(args[1]));

7.提交 job

boolean result = job.waitForCompletion(true);

System.exit(result?0:1);

 

相关文章
|
Java Maven
JAVA反序列化学习笔记4.Commons Collections2分析
JAVA反序列化学习笔记4.Commons Collections2分析
|
2月前
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
100 3
|
安全 Java
JAVA反序列化学习笔记3.Commons Collections5分析
JAVA反序列化学习笔记3.Commons Collections5分析
|
安全 Java
JAVA反序列化学习笔记2.Commons Collections1分析
JAVA反序列化学习笔记2.Commons Collections1分析
java202303java学习笔记第三十七天序列化流1
java202303java学习笔记第三十七天序列化流1
33 0
|
存储 缓存 分布式计算
Structured_介绍_序列化更迭 | 学习笔记
快速学习 Structured_介绍_序列化更迭
Structured_介绍_序列化更迭 | 学习笔记
|
消息中间件 JSON Java
RabbitTemplate 发送接受消息& amp 序列化机制|学习笔记
快速学习 RabbitTemplate 发送接受消息& amp 序列化机制
477 0
RabbitTemplate 发送接受消息& amp 序列化机制|学习笔记
|
JSON 网络协议 JavaScript
序列化 struct 时 tag 的使用 | 学习笔记
快速学习序列化 struct 时 tag 的使用
序列化 struct 时 tag 的使用 | 学习笔记
|
JSON 网络协议 测试技术
反序列化介绍和应用实例 | 学习笔记
快速学习反序列化介绍和应用实例
反序列化介绍和应用实例 | 学习笔记
|
消息中间件 JSON 缓存
RedisTemplate&amp 序列化机制|学习笔记
快速学习 RedisTemplate&amp 序列化机制
157 0