排序分类| 学习笔记

简介: 快速学习排序分类

开发者学堂课程【Hadoop 分布式计算框架 MapReduce:排序分类】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/94/detail/1520


排序分类


1、排序分类

(1)部分排序

MqpReduce 根据输入记录的键对数据集排序。保证输出的每个文件内部有序。

(2)全排序

最终输出结果只有一个文件,且文件内部有序。实现方式是只设置一个 ReduceTask。

但该方法在处理大型文件时效极低,因为一台机器处理所有文件,完全丧失了 MapReduce 所提供的并行架构。

(3)辅助排序: ( GroupingComparator 分组)

在 Reduce 端对 key 进行分组。应用于:在接收的 key 为 bean 对象时,想让一个或几个字段相同(全部字段比较不相同)的 key 进入到同个 reduce 方法时 ,可以采用分组排序。

(4)二次排序

在自定义排序过程中1如果 compareTo 中的判断条件为两个即为二次排序。


2、自定义排序 WritableComparable

(1)原理分析

bean 对象作为 key 传输,需要实现 WritableComparable 接口重写 compareTo 方法,就可以实现排序。

图片2.png

相关文章
|
5月前
|
树的分类有哪些?
本文介绍了树的多种类型,包括二叉树、二叉搜索树、完全二叉树、AVL树、红黑树、B树和B+树,并解释了每种树的特点和用途。
194 0
树的分类有哪些?
文本---视频网站好的构思,应该有类别构思,一个类别能够将它呈现出列表集合,以列表排序,如何完成类别构建,使之展现同一类,是一个好的视频写法
文本---视频网站好的构思,应该有类别构思,一个类别能够将它呈现出列表集合,以列表排序,如何完成类别构建,使之展现同一类,是一个好的视频写法
【经典LeetCode算法题目专栏分类】【第2期】组合与排列问题系列
【经典LeetCode算法题目专栏分类】【第2期】组合与排列问题系列
八大排序(一)--------排序的基本概念与分类
八大排序(一)--------排序的基本概念与分类
94 0
LeetCode每日一题——1773. 统计匹配检索规则的物品数量
给你一个数组 items ,其中 items[i] = [typei, colori, namei] ,描述第 i 件物品的类型、颜色以及名称。
95 0
MySQL索引有哪些分类,你真的清楚吗?
〇、MySQL索引都有哪些分类? 按数据结构分类可分为:B+tree索引、Hash索引、Full-text索引。 按物理存储分类可分为:聚簇索引、二级索引(辅助索引)。 按字段特性分类可分为:主键索引、普通索引、前缀索引。 按字段个数分类可分为:单列索引、联合索引(复合索引、组合索引)。 一、按数据结构分类
MySQL索引有哪些分类,你真的清楚吗?