经典大数据处理框架与通用架构对比

本文涉及的产品
实时数仓Hologres,5000CU*H 100GB 3个月
大数据开发治理平台 DataWorks,不限时长
实时计算 Flink 版,5000CU*H 3个月
简介: 【6月更文挑战第15天】本文介绍Apache Beam是谷歌开源的统一数据处理框架,提供可移植API,支持批处理和流处理。与其他架构相比,Lambda和Kappa分别专注于实时和流处理,而Beam在两者之间提供平衡,具备高实时性和数据一致性,但复杂性较高。选择架构应基于业务需求和场景。

1 简介

我们知道经典数据架构如kappa,lambda,它们利用数据管道整合多元数据源,便于分析和流转。Kappa架构专注于实时处理(如通过Kafka、Spark Streaming),适合实时响应场景;Lambda架构结合批处理与实时处理(如Spark、Hadoop与Flink),平衡实时性和批处理,易于开发和维护。

而本文介绍的Apache Beam提供统一模型,适用于流处理和批处理,提升代码复用和效率。这两种架构满足现代应用对数据一致、性能和灵活性的需求。它抽象出数据管道,允许在不同执行引擎(如Spark、Flink、Dataflow)上运行,简化了多源数据整合。Beam强调代码复用和效率,适用于需要高度灵活性和扩展性的场景,同时支持多种语言,如Python、Java。

treeoflife6.png

2 通用流数据处理Beam架构

Apache Beam是谷歌开源的数据管道框架,组织可开始根据其业务需求部署 Batch 或流式处理管道,是一种更通用的编程模型,可用于处理流数据和批处理数据。

它提供了一个统一的API,允许开发人员以可移植的方式定义数据处理管道,而不考虑底层执行引擎。对于需要处理这两种数据类型的应用程序,或者需要能够在不重写代码的情况下切换执行引擎的应用程序来说,这是一个很好的选择

  • 数据源:

数据源是数据进入 Beam 架构的起点。数据源可以是各种类型的数据源,例如 Kafka、Kinesis、Apache Pulsar 等。

  • 处理器:
    处理器负责处理数据。处理器可以是用户自定义的处理器,也可以是 Beam 提供的标准处理器。

  • 输出:

输出是处理后数据的输出目标。输出可以是各种类型的输出目标,例如 Kafka、Kinesis、Amazon S3 等。

3 组件

Beam的数据处理工作流图可以简单说明如下:

image.png

中间处理器可以使用如:python,go,java等通用语言调用其通用接口。

image.png

Apache Beam 抽象组件

  • 管道

它封装了从某个外部源读取数据、转换数据并将输出保存到某个外部存储源的整个过程。

  • 存储

它定义了管道运行的数据,它可以是有界数据,也可以是无界数据。我们根据来自任何外部系统的数据或内存中的数据创建 Pcollections。它是不可变的,必须包含相同类型的数据。

  • 输入集 PTransforms(PTransforms)

它将 Pcollection(输入数据集)作为输入,对其应用一些处理函数并生成另一个 Pcollection(输出数据集)。

  • 流水线 IO

它使您能够从各种外部存储系统读取或写入数据。

Beam 是一个通用的流式批处理的架构,具有以下优点:

支持多种数据源和数据处理框架:Beam 支持多种数据源和数据处理框架,适用于各种场景。
可扩展性强:Beam 的可扩展性强,适用于处理大量数据的应用场景。
开发效率高:Beam 的开发效率高,可以使用多种编程语言进行开发。
  • 例子:

例如,一个金融机构需要处理大量的交易数据,并进行分析。这种场景需要支持多种数据源和数据处理框架,且可扩展性强。Beam 架构可以满足这些需求,将交易数据进行实时处理和批处理,并进行分析。

image.png

4 小结

Kappa、Lambda 和 Beam 各有优缺点,适用于不同的场景。

Kappa 适用于需要实时响应、处理大量数据且预算有限的场景。

Lambda 适用于兼顾实时性和批处理、开发难度相对较低且预算有限的场景。

Beam 适用于支持多种数据源和数据处理框架、可扩展性强且开发效率高且预算充足的场景。
在选择大数据架构时,需要根据具体的业务需求和场景进行综合考虑。其主要优势在于其可移植的 API 层,可以在各种执行引擎或运行器中执行。

各框架功能对比如下:

功能\框架 Lambda Kappa Apache Beam
处理模型 混合(流+批处理) 流处理 统一流和批处理
实时能力 非常高
批处理 是(有限)
可扩展性
复杂性 中等
数据一致性 最终一致
体系结构 混合(Batch + Streaming) 流处理 统一编程模型
执行引擎 fixed (Apache Hadoop + Apache Spark) fixed (Apache Flink) Pluggable (Apache Spark, Apache Flink,谷歌Cloud Dataflow)
优势 可扩展性,历史数据分析,实时处理 低延迟,实时处理 灵活性,可移植性
缺点 复杂性,不如Apache Beam灵活 用例有限,不如Apache Beam可扩展性 比Lambda或Kappa更复杂
使用场景 历史数据分析、数据仓库、实时分析 实时分析 历史,实时分析和数据管道
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
25天前
|
存储 边缘计算 Cloud Native
“论模型驱动架构设计方法及其应用”写作框架,软考高级,系统架构设计师
模型驱动架构设计是一种用于应用系统开发的软件设计方法,以模型构造、模型转换和精化为核心,提供了一套软件设计的指导规范。在模型驱动架构环境下,通过创建出机器可读和高度抽象的模型实现对不同问题域的描述,这些模型独立于实现技术,以标准化的方式储存,利用模型转换策略来驱动包括分析、设计和实现等在内的整个软件开发过程。
|
10天前
|
消息中间件 Java 开发者
Spring Cloud微服务框架:构建高可用、分布式系统的现代架构
Spring Cloud是一个开源的微服务框架,旨在帮助开发者快速构建在分布式系统环境中运行的服务。它提供了一系列工具,用于在分布式系统中配置、服务发现、断路器、智能路由、微代理、控制总线、一次性令牌、全局锁、领导选举、分布式会话、集群状态等领域的支持。
45 5
|
14天前
|
分布式计算 大数据 数据处理
「大数据」Kappa架构
**Kappa架构**聚焦于流处理,用单一处理层应对实时和批量数据,消除Lambda架构的双重系统。通过数据重放保证一致性,简化开发与维护,降低成本,提升灵活性。然而,资源消耗大,复杂查询处理不易。关键技术包括Apache Flink、Spark Streaming、Kafka、DynamoDB等,适合需实时批量数据处理的场景。随着流处理技术进步,其优势日益凸显。
17 0
「大数据」Kappa架构
|
14天前
|
存储 监控 算法
「AIGC算法」大数据架构Lambda和Kappa
**Lambda与Kappa架构对比:** Lambda提供批处理和实时处理,保证数据最终一致性,但维护复杂。Kappa简化为单一流处理,易于维护,适合实时场景,但可能增加实时处理压力,影响稳定性。选择时考虑数据一致性、系统维护、成本和实时性需求。
23 0
「AIGC算法」大数据架构Lambda和Kappa
|
19天前
|
存储 数据可视化 大数据
大数据平台架构设计与实施
【7月更文挑战第3天】本文探讨了大数据平台的关键技术,包括数据采集(如Kafka、Flume)、存储(HDFS、HBase、Cassandra)、处理(Hadoop、Spark)、分析挖掘及可视化工具。架构设计涉及数据收集、存储、处理、分析和应用层,强调各层次的协同与扩展性。实施步骤涵盖需求分析、技术选型、架构设计、系统部署、数据迁移、应用开发测试及上线运维,旨在为企业决策提供强有力的数据支持。
|
1天前
|
数据采集 大数据 关系型数据库
什么是传统大数据架构的数据源
什么是传统大数据架构的数据源
|
3天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之如何确定是否需要更改MC的Endpoint服务接入架构
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
24天前
|
SQL 存储 运维
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
随着网易游戏品类及产品的快速发展,游戏数据分析场景面临着越来越多的挑战,为了保证系统性能和 SLA,要求引入新的组件来解决特定业务场景问题。为此,网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张,目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次,整体查询性能得到 10-20 倍提升。
网易游戏如何基于阿里云瑶池数据库 SelectDB 内核 Apache Doris 构建全新湖仓一体架构
|
26天前
|
存储 数据采集 分布式计算
Java中的大数据处理与分析架构
Java中的大数据处理与分析架构
|
14天前
|
存储 分布式计算 大数据
「大数据」Lambda架构
**Lambda架构**是Nathan Marz提出的用于大数据处理的模型,包括**批处理层**(预计算准确性)、**速度处理层**(实时低延迟)和**服务层**(合并结果响应查询)。它强调**容错性**、**低延迟**和**可扩展性**,并结合实时与批量处理。然而,它也面临数据口径不一致、计算窗口限制及开发复杂性等挑战。常用技术栈涉及Apache Hadoop/Spark、Storm/Flink、NoSQL数据库、Elasticsearch及消息队列。虽然有缺点,Lambda架构仍是大数据处理的重要框架。
13 0

相关产品

  • 云原生大数据计算服务 MaxCompute