OutPutFomat 接口实现类 | 学习笔记

简介: 快速学习 OutPutFomat 接口实现类

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:OutPutFomat 接口实现类】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/94/detail/1541


OutPutFomat 接口实现类


内容简介:

一、Outputformat 接口实现类

二、SequencefileOutputFormat

三、根据客户需求 Output

四、使用场景


一、Outputformat 接口实现类

OutputFormate 是 MapReduce 输出的基类,所有实现 MapReduce 输出都实现了 OutputFormat 接口。

下面介绍几种常见的 OutputFormat 实现类

1、文本输出 textoutputformat ,他把每条记录写为文本行。

它的键和值可以是任意类型。

因为 TextOutputFormax 调用 tostring()方法转化为字符串

二、SequencefileOutputFormat

将 SequenceFileOutputFormat 输出作为后续 Mapreduce 任务的输入,这便是一种好的输出格式,因为它的格式紧凑,很容易被压缩.

三、根据客户需求Output

自定义用户需求,自定义实现输出

Output 是输出的基类,所有实现 MapReduce 输出都实现了接口,下面接介绍几款几种常见的 Output 实现类.


1、文本输出

默认的输出的格式是 textOutputFormat,他把每条记录写为文本行。它的键和值可以是任意类型,因为 textputFormat 调用toString() 方法把它们转为字符串

2、SequenceFileFormat

将 SequenceFileOutput 输出作为后续 MapReduce 任务的输出,这便是一种好的输出,因为它格式紧凑,很容易被压缩。

3、自定义 OutputFormat


四、使用场景

1、为了实现控制最终文件的输出路径和输出格式

2、自定义 OutputFormat 的步骤

(1)自定义一个类继承 FileOutputFormat

(2)改写 RecordWriter,具体改写输出数据的方法

相关文章
|
5月前
|
SQL Java 数据库连接
JAVAJDBC中常用的接口和类
JAVAJDBC中常用的接口和类
64 0
java 接口,接口的特性,接口实现多态,面向接口编程
java 接口,接口的特性,接口实现多态,面向接口编程
|
Dubbo Java 应用服务中间件
没有接口实现类代理
没有接口实现类代理
137 0
没有接口实现类代理
|
SQL 关系型数据库 数据库连接
接口继承|学习笔记
快速学习接口继承,接口只能被类去实现,如果想要规范团队,也不能把所有想要规范的东西写在一个接口里,这样会使接口臃肿,不好实现接口的类,因为有可能并不需要这么多规范。为了使接口的体系更加完整,更加具有结构性,就有了接口继承。本节的目标是理解接口的继承体系,掌握具体的接口继承实现。
接口继承|学习笔记
|
存储 PHP 开发者
类内部对象|学习笔记
快速学习类内部对象
类内部对象|学习笔记
|
网络协议 测试技术 Go
实现接口和继承比较(1) | 学习笔记
快速学习实现接口和继承比较(1)
实现接口和继承比较(1) | 学习笔记
|
网络协议 测试技术 Go
实现接口和继承比较(2) | 学习笔记
快速学习实现接口和继承比较(2)
实现接口和继承比较(2) | 学习笔记
|
Java 编译器 PHP
C++学习笔记1:类的使用
C++学习笔记1:类的使用1. 类的定义与使用2. 类的成员变量和成员函数3. 构造函数4. 析构函数5.5 友元函数和友元类
115 0
C++学习笔记1:类的使用
Java动态代理抽象成工具类
Java动态代理抽象成工具类