自定义 outformat 案例实现 | 学习笔记

简介: 快速学习自定义 outformat 案例实现

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:自定义 outformat 案例实现】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/94/detail/1543


自定义 outformat 案例实现


一、案例实现

1.编写 FilterMapper 类

图片20.png

防止有重复的数据

2、输入数据

3、自定义一个 OutputFormat 类

Return new(job)

创建

图片21.png

用完一个对象,上传数据,方便之后操作

创建两个文件输出流:atguiguOut、otherOut

1、获取文件系统,获得输出流

2、创建输出到 atguigu.log 的输出

3.创建输出到 other.log 的输出

图片22.png

4、判断key当中是否 atguigu,如果有写到 atguigu.如果没有写出到other.log

5、Atguigu 输出流

6、将自定义的输出格式设置到 job

7、指定一个输出目录

8、防止有重复的数据

图片23.png

相关文章
|
6天前
|
JavaScript Java
若依框架 - - - 自定义打印模版
若依框架 - - - 自定义打印模版
160 0
若依框架 - - - 自定义打印模版
|
6月前
|
NoSQL 前端开发 分布式数据库
102 云笔记案例(功能列表)
102 云笔记案例(功能列表)
29 0
|
10月前
|
NoSQL Java Redis
【项目实战典型案例】15.登录之后我加入的课程调用接口报错
【项目实战典型案例】15.登录之后我加入的课程调用接口报错
【项目实战典型案例】15.登录之后我加入的课程调用接口报错
模板案例分析
*模板可以实现数组的大小排序比较 模板案例分析
57 1
|
前端开发
前端学习案例-自定义navLink&自定义导航1
前端学习案例-自定义navLink&自定义导航1
61 0
前端学习案例-自定义navLink&自定义导航1
|
分布式计算 搜索推荐 数据挖掘
数据自定义分析|学习笔记
快速学习数据自定义分析
72 0
数据自定义分析|学习笔记
|
SQL 运维 分布式计算
阿里云相关产品操作演示 | 学习笔记
快速学习阿里云相关产品操作演示。
326 0
阿里云相关产品操作演示  |  学习笔记
|
监控 NoSQL Java
自定义 Hea1thIndicator |学习笔记
快速学习自定义 Hea1thIndicator
71 0
|
SQL 分布式计算 HIVE
SearchType 案例演示|学习笔记
快速学习 SearchType 案例演示。
67 0
|
XML Java 数据格式
自定义框架配置解析 | 学习笔记
快速学习自定义框架配置解析,介绍了自定义框架配置解析系统机制, 以及在实际应用过程中如何使用。
99 0
自定义框架配置解析 | 学习笔记