OutPutFomat 接口实现类 | 学习笔记

简介: 快速学习 OutPutFomat 接口实现类

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:OutPutFomat 接口实现类】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/94/detail/1541


OutPutFomat 接口实现类


内容简介:

一、Outputformat 接口实现类

二、SequencefileOutputFormat

三、根据客户需求 Output

四、使用场景


一、Outputformat 接口实现类

OutputFormate 是 MapReduce 输出的基类,所有实现 MapReduce 输出都实现了 OutputFormat 接口。

下面介绍几种常见的 OutputFormat 实现类

1、文本输出 textoutputformat ,他把每条记录写为文本行。

它的键和值可以是任意类型。

因为 TextOutputFormax 调用 tostring()方法转化为字符串

二、SequencefileOutputFormat

将 SequenceFileOutputFormat 输出作为后续 Mapreduce 任务的输入,这便是一种好的输出格式,因为它的格式紧凑,很容易被压缩.

三、根据客户需求Output

自定义用户需求,自定义实现输出

Output 是输出的基类,所有实现 MapReduce 输出都实现了接口,下面接介绍几款几种常见的 Output 实现类.


1、文本输出

默认的输出的格式是 textOutputFormat,他把每条记录写为文本行。它的键和值可以是任意类型,因为 textputFormat 调用toString() 方法把它们转为字符串

2、SequenceFileFormat

将 SequenceFileOutput 输出作为后续 MapReduce 任务的输出,这便是一种好的输出,因为它格式紧凑,很容易被压缩。

3、自定义 OutputFormat


四、使用场景

1、为了实现控制最终文件的输出路径和输出格式

2、自定义 OutputFormat 的步骤

(1)自定义一个类继承 FileOutputFormat

(2)改写 RecordWriter,具体改写输出数据的方法

相关文章
|
Java
类与接口介绍
在Java中,类和接口是两种重要的概念,用于描述对象的属性和行为。它们是面向对象编程的基础,用于组织和管理代码。 类(Class)是一种模板或蓝图,用于创建对象。它定义了对象的属性和行为。类是Java中最基本的组织单元,所有的对象都是根据类来创建的。类由字段(属性)和方法组成。字段表示对象的状态或属性,而方法表示对象的行为或操作。 以下是一个简单的Java类的示例: ```java public class Person { // 字段 private String name; private int age; // 构造方法 publi
60 0
|
6月前
|
设计模式 搜索推荐 Java
java接口和抽象类的区别,以及使用选择
java接口和抽象类的区别,以及使用选择
80 0
|
3月前
|
Java
抽象类和接口类的区别是什么?
【8月更文挑战第6天】抽象类和接口类的区别是什么?
282 0
|
6月前
|
SQL Java 数据库连接
JAVAJDBC中常用的接口和类
JAVAJDBC中常用的接口和类
85 0
java 接口,接口的特性,接口实现多态,面向接口编程
java 接口,接口的特性,接口实现多态,面向接口编程
|
Dubbo Java 应用服务中间件
没有接口实现类代理
没有接口实现类代理
141 0
没有接口实现类代理
|
SQL 关系型数据库 数据库连接
接口继承|学习笔记
快速学习接口继承,接口只能被类去实现,如果想要规范团队,也不能把所有想要规范的东西写在一个接口里,这样会使接口臃肿,不好实现接口的类,因为有可能并不需要这么多规范。为了使接口的体系更加完整,更加具有结构性,就有了接口继承。本节的目标是理解接口的继承体系,掌握具体的接口继承实现。
接口继承|学习笔记
|
网络协议 测试技术 Go
实现接口和继承比较(2) | 学习笔记
快速学习实现接口和继承比较(2)
实现接口和继承比较(2) | 学习笔记
|
网络协议 测试技术 Go
实现接口和继承比较(1) | 学习笔记
快速学习实现接口和继承比较(1)
实现接口和继承比较(1) | 学习笔记