解构流存储 — Pravega,与 Flink 构建端到端的大数据流水处理线

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: Pravega 中国社区创始人、戴尔科技集团软件工程技术总监滕昱在 FFA 2021 主会场的演讲

本篇内容整理自 Pravega 中国社区创始人、戴尔科技集团软件工程技术总监滕昱在 Flink Forward Asia 2021 主会场的演讲。主要内容包括:

  1. 存储抽象的现状
  2. Pravega 性能架构详解
  3. Pravega 流存储数据演示
  4. 展望未来

FFA 2021 直播回放 & 演讲 PDF 下载

一、存储抽象的现状

img

在计算机软件设计中,有一个非常著名的观点:任何新的计算机问题都可以通过新加入的抽象层解决,对于存储也是一样。上图列出了三种大家主要使用的存储抽象,即块存储、文件存储和对象存储。块存储基本上和现代计算机工业同时期诞生;文件存储作为当今主流的存储抽象稍晚出现;对象存储更晚,其诞生于 1990 年代。而在实时计算的发展和云时代背景下,流式的数据有着越来越广泛的应用,我们认为需要一种新兴的存储抽象来应对这一种强调低延时、高并发流量的数据。而在文件存储中添加字节流可能是一个最直观的想法,但在实际需求上面临着一系列的挑战,实现反而更加复杂,如下图所示:

img

数据的写入大小对吞吐量的影响至关重要,为了平衡延时和吞吐量,在实现上需要引入 batching,并且需要预分配空间避免块分配造成的性能损耗,最后作为存储,持久化也必须保证。

img

本地文件系统本质上是不安全的。在现实世界中,每时每刻硬件节点,磁盘介质都可能会损坏。为了解决这些问题,就需要引入分布式存储系统,例如常见的多副本系统,但副本的拷贝费时费空间,分布式一致性协议的数据安全问题又会成为新的难题。

img

如果基于 shared-nothing 架构设计,完全并行不存在共享资源,例如上图中有三个副本分别存于三个独立的物理节点之上,那么单条流数据的存储大小就受限于单个物理界点的存储上限,所以这依然不是一个完备的解决方法。

由此可见,由于上述一系列的问题,基于文件系统构建流存储是相当复杂的。

img

于是,我们受到了开篇的观点的启示,尝试换个角度,使用分布式文件和对象存储的分层架构模式来解决这个问题。底层的可扩展存储可以作为一个数据湖,流的历史数据可以存入其中与其他非流的数据集共存,在节省了数据迁移、存储运维开销的同时可以解决数据孤岛的问题,批流结合的计算将会更加方便。

img

分层架构可以解决分散的多客户端。为了解决容错恢复的问题,我们在流存储的基础上增加了分布式 log 存储。

img

在真实应用实例中,实时应用程序的流量可能随着时间波动,为了应对数据的峰谷,我们引入了动态伸缩功能。

在左上角的图标中,横轴表示时间,纵轴表示应用程序的数据。它的波形图刚开始很平稳,到了特定点时数据量突然变大,这往往是一些跟时间有关的应用程序的特性,比如早晚高峰、双十一等场景,这个时候流量就会蜂拥而入。

一个完备的流存储系统应该能够感知到实时流量的变化进行资源的合理分配。当数据量变大时,底层会动态地分配更多的存储单元处理数据。在云原生时代的底层架构中,动态伸缩也是通用的存储系统中非常重要的一点。

img

二、Pravega 性能架构详解

Pravega 的设计宗旨是成为流的实时存储解决方案。

  • 第一,应用程序将数据持久化存储到 Pravega 中,借助分层存储架构,Pravega Stream 实现了无上限的流存储;
  • 第二,Pravega 支持端到端的仅一次语义,包括读端的 checkpoint 与事务性写功能,使得计算可以拆分为多个可靠的独立应用程序,实现了流式系统的微服务架构;
  • 第三,Pravega 的动态伸缩机制,可以实现流量监控并自动在底层进行资源的分配,让开发和运维人员无需手动调度集群。

Pravega 独立的伸缩机制,让生产者和消费者互不影响,数据处理管道变得富有弹性,能对数据的实时变化做出适时的反应。

img

如图所示,Pravega 是从存储的视角看待流数据。Kafka 本身的定位是消息系统,所以它会从消息视角看待流数据。消息系统与存储系统的定位是不同的,消息系统是指消息传输系统,主要关注数据传输与生产消费的过程。Pravega 的定位是企业级的分布式流存储产品,不但满足流的属性还支持数据存储的持久化、安全可靠、隔离等属性。

视角的不同带来了设计架构上的差异性,由于消息系统无需处理长时间的数据存储,因此都会需要额外的任务和组件进行数据的搬运来完成持久化。而定位流存储的 Pravega 则在主存储中直接解决了数据 retention 问题。Pravega 的数据存储的核心引擎称之为 segment store,直接对接 HDFS 或 S3 的分布式存储组件用以进行长期、持久化的存储。依托底层存储组件的成熟架构与可扩展能力,Pravega 在存储端也就自然具备了大规模存储和可扩展的特性。

img

另一个架构上的差异则来自于客户端的小写优化。在典型的 IoT 场景中,边缘端的写入端数量通常比较大,而每次写入的数据量可能并不多。Pravega 的设计也充分考虑了这一场景,采用了在客户端和 segment store 两次 batching 的优化,将来自多个客户端的小写合并成对于底层磁盘友好的小批量写入,从而在保证低延时的基础上,大幅提升了高并发写入的性能。

这一设计也相应地对性能产生了影响。Pravega 测试了在同样的高并发负载下,与 Kafka 和 Pulsar 的性能对比,实验结果如下图所示。在我们的测试中使用高度并行的负载,每个 Stream/Topic 最多有 100 个写入端和 5000 个 segment。Pravega 可以在所有情况下都维持 250MBps 的速率,这也是测试云环境中磁盘的写入最大速率。而左右两图中可以看到,Kafka 和 Pulsar 在增加分区和生产者数量时,性能都会显著降低,在大规模的并发度下先后出现性能的降级。

img

这一实验过程和环境也完整地公开在这一篇博客之中,实验的代码也完全开源并贡献到了 openmessaging-benchmark 之中,有兴趣的同学可以尝试重现。

三、Pravega 流存储数据演示

从存储角度,我们已经介绍了 Pravega 对流存储的变化和架构特点。接下来,我们讲讲如何消费流存储数据。Pravega 如何跟 Flink 配合,构建端到端的大数据流水处理线。

img

我们提出的大数据架构,以 Apache Flink 作为计算引擎,通过统一的模型以及 API 来统一批处理和流处理;以 Pravega 作为存储引擎,为流式数据存储提供统一的抽象,使得对历史和实时数据有一致的访问方式。两者统一形成了从存储到计算的闭环,能够同时应对高吞吐的历史数据和低延时的实时数据。

img

更进一步,对于边缘计算的场景,Pravega 也兼容常用的消息通信协议,实现了相应的数据接收器,可以作为大数据流水处理的管道,从管道收集数据,把数据给到下游计算引擎应用程序,完成从边缘到数据中心的数据处理流水线。通过这样的方式,企业级用户可以很容易地搭建自己的大数据处理流水线。这也是我们开发流存储产品的目的。

img

我们认为在云原生时代,动态伸缩的功能是非常重要的,这样不但可以减轻应用程序开发的难度,而且可以更高效地利用底层的硬件资源。之前介绍了 Pravega 的动态伸缩,Flink 的新版本也支持了动态伸缩功能。那么我们将两个独立的伸缩联系起来,把动态伸缩功能推到整条流水线呢?

img

我们跟社区一起合作,完成了完整的伸缩链路,把端到端的 Auto-scaling 功能带给所有的客户。上图是端到端 Auto-scaling 概念的示意图。当数据注入变大时,Pravega 能够发生自动伸缩,分配更多的 segment 处理存储端的压力。而通过 metrics 以及 Kubernetes HPA 功能,Flink 也可以相应地分配更多并行计算的节点给到相应的计算任务中去,从而应对数据流量的变化。这是新一代对企业级用户非常关键的云原生能力。

四、展望未来

img

在 Flink Forward Asia 2021 大会上,Pravega 社区也跟 Flink 一起,共同发布了数据库同步方案的白皮书。Pravega 作为 CNCF 的项目也在不断发展,同时也会更坚定地拥抱开源。

img

随着技术的不断发展,越来越多的流式引擎和数据库引擎开始朝着融合的方向发展。展望未来,存储和计算,流和表的界限逐渐模糊。Pravega 批流一体的存储设计也暗合了 Flink 未来很重要的一个发展方向。Pravega 也会积极与包括 Flink 在内的数据湖仓相关的开源社区沟通合作,为企业级用户构建更友好、更强大的新一代数据流水线。


FFA 2021 直播回放 & 演讲 PDF 下载

更多 Flink 相关技术问题,可扫码加入社区钉钉交流群
第一时间获取最新技术文章和社区动态,请关注公众号~

image.png

活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算Flink版现开启活动:
99 元试用 实时计算Flink版(包年包月、10CU)即有机会获得 Flink 独家定制卫衣;另包 3 个月及以上还有 85 折优惠!
了解活动详情:https://www.aliyun.com/product/bigdata/sc

image.png

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
26天前
|
存储 关系型数据库 MySQL
Mysql 存储大数据量问题
Mysql 存储大数据量问题
57 1
|
15小时前
|
SQL 消息中间件 Kubernetes
flink问题之on kubernetes 构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
7 1
|
18小时前
|
SQL Kubernetes Java
Flink构建问题之flink 1.11 on kubernetes构建失败如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
8天前
|
SQL 大数据 Java
大数据技术之Flink---day01概述、快速上手
大数据技术之Flink---day01概述、快速上手
52 4
|
22天前
|
SQL 并行计算 大数据
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink(基础加强+运行原理)
关于Flink服务的搭建与部署,由于其涉及诸多实战操作而理论部分相对较少,小编打算采用一个独立的版本和环境来进行详尽的实战讲解。考虑到文字描述可能无法充分展现操作的细节和流程,我们决定以视频的形式进行分析和介绍。因此,在本文中,我们将暂时不涉及具体的搭建和部署步骤。
178 3
【大数据技术攻关专题】「Apache-Flink零基础入门」手把手+零基础带你玩转大数据流式处理引擎Flink(基础加强+运行原理)
|
23天前
|
存储 数据可视化 JavaScript
基于Echarts构建大数据招聘岗位数据可视化大屏
基于Echarts构建大数据招聘岗位数据可视化大屏
20 0
|
1月前
|
弹性计算 大数据 调度
Flink中Mesos在大数据领域中使用较多
【1月更文挑战第19天】【1月更文挑战第92篇】Flink中Mesos在大数据领域中使用较多
27 1
|
1月前
|
SQL 存储 Apache
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
Paimon 实践 | 基于 Flink SQL 和 Paimon 构建流式湖仓新方案
266 1
|
1月前
|
存储 SQL 分布式数据库
OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案
OceanBase X Flink 基于原生分布式数据库构建实时计算解决方案
|
1月前
|
SQL 关系型数据库 Apache
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
Apache Doris 整合 FLINK CDC 、Paimon 构建实时湖仓一体的联邦查询入门
327 1

相关产品

  • 实时计算 Flink版