Flink 1.10 和 Hive 3.0 性能对比(附 Demo 演示 PPT)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Flink 作为一个统一的计算引擎,旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码,并在 1.10 中完善了大量的功能以及性能,可以运行所有 TPC-DS 的查询,性能方面也很有竞争力,Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。

作者:李劲松(之信)

如今的大数据批计算,随着 Hive 数仓的成熟,普遍的模式是 Hive metastore + 计算引擎。常见的计算引擎有 Hive on MapReduce、Hive on Tez、Hive on Spark、Spark integrate Hive、Presto integrate Hive,还有随着 Flink 1.10 发布后生产可用的 Flink Batch SQL。

Flink 作为一个统一的计算引擎,旨在提供统一的流批体验以及技术栈。Flink 在 1.9 合并了 Blink 的代码,并在 1.10 中完善了大量的功能以及性能,可以运行所有 TPC-DS 的查询,性能方面也很有竞争力,Flink 1.10 是一个生产可用的、批流统一的 SQL 引擎版本。

在搭建计算平台的过程中,性能和成本是选取计算引擎的很关键的因素。为此,Ververica 的 flink-sql-benchmark [1] 项目提供了基于 Hive Metastore 的 TPC-DS Benchmark 测试的工具,为了测试更靠近真正的生产作业:

  • 测试的输入表都是标准的 Hive 表,数据全在与生产一致的 Hive 数仓中。其它计算引擎也能方便分析这些表。
  • 数据的格式采用 ORC,ORC 是常用的生产文件格式,提供较高的压缩率,和较好的读取性能。
  • 选取 TPC-DS Benchmark 的 10TB 数据集,10TB 的数据集是比较常见的生产规模。如果只有 1TB,完全可以在传统数据库中运行起来,不太适合大数据的测试。

我们在 20 台机器上测试了三种引擎:Flink 1.10、Hive 3.0 on MapReduce、Hive 3.0 on Tez,从两个维度测试了引擎的成绩:

  • 总时长:直观的性能数据,但是可能会受到个别 queries 的较大影响。
  • 几何平均:表示一组数的中心趋势,它可以更好的消除个别 queries 的较大影响,呈现较真实的平均数。

结果摘要:

  • Flink 1.10 VS Hive 3.0 on MapReduce

    • Flink 总时长的性能是 Hive on MapReduce 的 8.7 倍。
    • Flink Queries 几何平均的性能是 Hive on MapReduce 的 7.8 倍。
  • Flink 1.10 VS Hive 3.0 on Tez

    • Flink 总时长的性能是 Hive on Tez 的 2.1 倍。
    • Flink Queries 几何平均的性能是 Hive on Tez 的 2.0 倍。

运行总时间的对比成绩是:

1.jpg

Queries 几何平均的对比成绩是:

2.jpg

本文只测试了上述引擎和 10TB 的数据集,读者可以根据自己的集群规模,选取特定的数据集,使用 flink-sql-benchmark 工具来运行更多引擎的对比测试。

Benchmark 详情

Benchmark 环境

具体环境及调优说明:

  • 计算环境:20 台机器,机器参数为 64 核 intel 处理器、256GB 内存、1 SSD 盘用于计算引擎、多块 SATA 盘用于 HDFS、万兆网卡。
  • 集群环境:Yarn + HDFS + Hive。
  • Flink参数:flink-conf.yaml [2]。
  • Hive参数:主要调优了 MapJoin 的阈值,提高性能的同时避免 OOM。
  • 选用较新的 Hadoop 版本(3.X),并选用了较新的 Hive 和 Tez 版本

Benchmark 步骤

环境准备

  1. 准备 Hadoop (HDFS + YARN) 环境
  2. 准备 Hive 环境

■ 数据集生成

  1. 分布式生成 TPC-DS 数据集,并加载 TEXT 数据集到 Hive,原始数据是 Csv 的格式。建议分布式生成数据,这也是个比较耗时的步骤。(flink-sql-benmark 工具中集成了 TPC-DS 的工具)
  2. Hive TEXT 表转换为 ORC 表,ORC 格式是常见的 Hive 数据文件格式,行列混合的存储有利于后续的快速分析,也有很高的压缩比。执行 Query:create table ${NAME} stored as ${FILE} as select * from ${SOURCE}.${NAME};

3.jpg

如图,生成了 TPC-DS 官方说明的 7 张事实表和 17 张维表。

  1. 分析 Hive 表,统计信息对于分析作业的查询优化非常重要,对于复杂的 SQL,Plan 的执行效率有很大的差异。Flink 不但支持读取 Hive 的 Table 统计信息,也支持读取 Hive 的分区统计信息,根据统计信息进行 CBO 的优化。执行命令:analyze table ${NAME} compute statistics for columns;

4.jpg

Flink 运行 Queries

  1. 准备 Flink 环境,搭建 Flink Yarn Session 环境,推荐使用 Standalone 或者 Session 模式,可以复用 Flink 的进程,加快分析型作业的速度。
  2. 编写代码运行 Queries,统计执行时间等相关信息,具体代码可以直接复用 flink-sql-benchmark 里的 flink-tpcds 工程。
  3. FLINK_HOME/flink run 运行程序,执行所有 queries,等待执行完毕,统计执行时间。

5.jpg

其它引擎运行 Queries

  1. 根据其它引擎的官网提示,搭建环境。
  2. 得益于标准的 Hive 数据集,可以方便的使用其它引擎来读取 Hive 数据。
  3. 在运行时,值得注意的是需要达到集群的瓶颈,比如 Cpu、比如 Disk,一定是有瓶颈出现,才能证明运行方式和参数是比较合理的,为此,需要一些性能调优。

Benchmark 分析

Flink 1.10

Flink 1.9 在合并 Blink 代码的时候,就已经完成了很多工作:深度 CodeGeneration、Binary 存储与计算、完善的 CBO 优化、Batch Shuffler,为后续的性能突破打下了扎实的基础。

Flink 1.10 继续完善 Hive 集成,并达到了生产级别的 Hive 集成标准,其它也在性能和开箱即用方面做了很多工作:

  • Hive 多版本的支持,支持了 Hive 1.0 以后的主要版本。
  • 向量化的 ORC 读,目前只在 Hive 2.0 以上版本才会默认开启。

    • Hive 1.X 版本的支持已经在进行中:FLINK-14802 [3]
    • Parquet 的向量化读支持也已经在开发中:FLINK-11899 [4]
  • 基于比例的弹性内存分配,这不仅利于 Operator 可以更多的使用内存,而且大大方便了用户的配置,用户不再需要配置 Operator 内存,Operator 根据 Slot 弹性的拿到内存,提高了 Flink 开箱即用的易用性。详见 FLIP-53 [5]
  • Shuffle 的压缩:Flink 默认给 Batch 作业开启中间数据落盘的方式,这有利于避免调度死锁的可能,也提供了良好的容错机制,但是大量的落盘可能导致作业瓶颈在磁盘的吞吐上,所以 Flink 1.10 开发了 Shuffle 的压缩,用 Cpu 换 IO。
  • 新调度框架:Flink 1.10 也引入新了的调度框架,这有利于 JobMaster 的调度性能,避免并发太大时,JobMaster 成为性能瓶颈。

Flink 参数分析

Flink 1.10 做了很多参数的优化,提高用户的开箱即用体验,但是由于批流一体的一些限制,目前也是需要进行一些参数设置的,这里本文粗略分析下。

Table 层参数:

  • table.optimizer.join-reorder-enabled = true:需要手动打开,目前各大引擎的 JoinReorder 少有默认打开的,在统计信息比较完善时,是可以打开的,一般来说 reorder 错误的情况是比较少见的。
  • table.optimizer.join.broadcast-threshold = 1010241024:从默认值 1MB 调整到 10MB,目前 Flink 的广播机制还有待提高,所以默认值为 1MB,但是在并发规模不是那么大的情况下,可以开到 10MB。
  • table.exec.resource.default-parallelism = 800:Operator 的并发设置,针对 10T 的输入,建议开到 800 的并发,不建议太大并发,并发越大,对系统各方面的压力越大。

TaskManager 参数分析:

  • taskmanager.numberOfTaskSlots = 10:单个 TM 里的 slot 个数。
  • TaskManager 内存参数:TaskManager 的内存主要分为三种,管理内存、网络内存、JVM 相关的其它内存。需要理解下官网的文档,才能有效的设置这些参数。
  • taskmanager.memory.process.size = 15000m:TaskManager 的总内存,减去其它内存后一般留给堆内 3-5GB 的内存。
  • taskmanager.memory.managed.size = 8000m:管理内存,用于 Operator 的计算,留给单个 Slot 300 - 800MB 的内存是比较合理的。
  • taskmanager.network.memory.max = 2200mb:Task 点到点的通信需要 4 个 Buffers,根据并发大概计算得出需要 2GB,可以通过尝试得出,Buffers 不够会抛出异常。

网络参数分析

  • taskmanager.network.blocking-shuffle.type = mmap:Shuffle read 使用 mmap 的方式,直接靠系统来管理内存,是比较方便的形式。
  • taskmanager.network.blocking-shuffle.compression.enabled = true:Shuffle 使用压缩,这个参数是批流复用的,强烈建议给批作业开启压缩,不然瓶颈就会在磁盘上。

调度参数分析

  • cluster.evenly-spread-out-slots = true:在调度 Task 时均匀调度到每个 TaskManager 中,这有利于使用所有资源。
  • jobmanager.execution.failover-strategy = region:默认全局重试,需打开 region 重试才能 enable 单点的 failover。
  • restart-strategy = fixed-delay:重试策略需要手动设置,默认是不重试的。

其它 timeout 相关参数是为了避免调度和运行过程中,大数据量导致的网络抖动,进而导致作业失败的问题。

Flink 1.11 及后续规划

后续 Flink 社区会在完善功能的同时进一步夯实性能:

  • 提供 SQL Gateway 以及 JDBC Driver,目前提供独立仓库,面向 Flink 1.10。[6] [7]
  • 提供 Hive 语法兼容模式,避免 Hive 用户的困扰。
  • 完善 ORC 和 Parquet 的向量化读。
  • N-Ary stream operator [8]:开发 table 层的 chain 框架,进一步避免 Shuffle 落盘导致的开销。

参考链接:

[1]https://github.com/ververica/flink-sql-benchmark
[2]https://github.com/ververica/flink-sql-benchmark/blob/master/flink-tpcds/flink-conf.yaml
[3]http://jira.apache.org/jira/browse/FLINK-14802
[4]https://issues.apache.org/jira/browse/FLINK-11899
[5]https://cwiki.apache.org/confluence/display/FLINK/FLIP-53%3A+Fine+Grained+Operator+Resource+Management
[6]https://github.com/ververica/flink-sql-gateway
[7]https://github.com/ververica/flink-jdbc-driver
[8]https://cwiki.apache.org/confluence/display/FLINK/FLIP-92%3A+Add+N-Ary+Stream+Operator+in+Flink

# 重磅福利 #

《Demo: 基于 Flink SQL 构建离线应用》的 PPT 来啦!关注「Flink 中文社区」微信公众号,后台回复关键字“0218SQL”即可获取本次直播课程 Demo 演示 PPT~

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
存储 运维 监控
实时计算Flink版在稳定性、性能、开发运维、安全能力等等跟其他引擎及自建Flink集群比较。
实时计算Flink版在稳定性、性能、开发运维和安全能力等方面表现出色。其自研的高性能状态存储引擎GeminiStateBackend显著提升了作业稳定性,状态管理优化使性能提升40%以上。核心性能较开源Flink提升2-3倍,资源利用率提高100%。提供一站式开发管理、自动化运维和丰富的监控告警功能,支持多语言开发和智能调优。安全方面,具备访问控制、高可用保障和全链路容错能力,确保企业级应用的安全与稳定。
47 0
|
4月前
|
消息中间件 大数据 Kafka
"Apache Flink:重塑大数据实时处理新纪元,卓越性能与灵活性的实时数据流处理王者"
【8月更文挑战第10天】Apache Flink以卓越性能和高度灵活性在大数据实时处理领域崭露头角。它打破批处理与流处理的传统界限,采用统一模型处理有界和无界数据流,提升了开发效率和系统灵活性。Flink支持毫秒级低延迟处理,通过时间窗口、状态管理和自动并行化等关键技术确保高性能与可靠性。示例代码展示了如何使用Flink从Kafka读取实时数据并进行处理,简明扼要地呈现了Flink的强大能力。随着技术进步,Flink将在更多场景中提供高效可靠的解决方案,持续引领大数据实时处理的发展趋势。
106 7
|
4月前
|
SQL 物联网 数据处理
"颠覆传统,Hive SQL与Flink激情碰撞!解锁流批一体数据处理新纪元,让数据决策力瞬间爆表,你准备好了吗?"
【8月更文挑战第9天】数据时代,实时性和准确性至关重要。传统上,批处理与流处理各司其职,但Apache Flink打破了这一界限,尤其Flink与Hive SQL的结合,开创了流批一体的数据处理新时代。这不仅简化了数据处理流程,还极大提升了效率和灵活性。例如,通过Flink SQL,可以轻松实现流数据与批数据的融合分析,无需在两者间切换。这种融合不仅降低了技术门槛,还为企业提供了更强大的数据支持,无论是在金融、电商还是物联网领域,都将发挥巨大作用。
62 6
|
4月前
|
SQL 关系型数据库 HIVE
实时计算 Flink版产品使用问题之如何将PostgreSQL数据实时入库Hive并实现断点续传
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
4月前
|
SQL 分布式计算 数据处理
实时计算 Flink版产品使用问题之怎么将数据从Hive表中读取并写入到另一个Hive表中
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
7月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
196 1
|
7月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
277 0
|
2月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
42 0
|
5月前
|
SQL 分布式计算 大数据
大数据处理平台Hive详解
【7月更文挑战第15天】Hive作为基于Hadoop的数据仓库工具,在大数据处理和分析领域发挥着重要作用。通过提供类SQL的查询语言,Hive降低了数据处理的门槛,使得具有SQL背景的开发者可以轻松地处理大规模数据。然而,Hive也存在查询延迟高、表达能力有限等缺点,需要在实际应用中根据具体场景和需求进行选择和优化。

相关产品

  • 实时计算 Flink版