AI 助理
备案控制台
开发者社区 大数据与机器学习 实时计算 Flink 文章 正文

Flink+Hudi 构架湖仓一体化解决方案

2021-10-15 1286
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
实时计算 Flink 版，1000CU*H 3个月
推荐场景：
实时发现最热Github项目
简介： 详细介绍了 Flink + Hudi 湖仓一体化方案的原型构建。

本文转载自公众号【麒思妙想】，详细介绍了 Flink + Hudi 湖仓一体化方案的原型构建。主要内容为：

  1. Hudi
  2. 新架构与湖仓一体
  3. 最佳实践
  4. Flink on Hudi
  5. Flink CDC 2.0 on Hudi

一、Hudi

1. 简介

Apache Hudi (发音为 “Hoodie”)在 DFS 的数据集上提供以下流原语

  • 插入更新 (如何改变数据集?)
  • 增量拉取 (如何获取变更的数据?)

Hudi 维护在数据集上执行的所有操作的时间轴 (timeline），以提供数据集的即时视图。Hudi 将数据集组织到与 Hive 表非常相似的基本路径下的目录结构中。数据集分为多个分区，文件夹包含该分区的文件。每个分区均由相对于基本路径的分区路径唯一标识。

分区记录会被分配到多个文件。每个文件都有一个唯一的文件 ID 和生成该文件的提交 (commit)。如果有更新，则多个文件共享相同的文件 ID，但写入时的提交 (commit) 不同。

存储类型 – 处理数据的存储方式

  • 写时复制
  • 纯列式
  • 创建新版本的文件
  • 读时合并
  • 近实时

视图 – 处理数据的读取方式

读取优化视图 - 输入格式仅选择压缩的列式文件

  • parquet 文件查询性能
  • 500GB 的延迟时间约为 30 分钟
  • 导入现有的 Hive 表

近实时视图

  • 混合、格式化数据
  • 约 1-5 分钟的延迟
  • 提供近实时表

增量视图

  • 数据集的变更
  • 启用增量拉取

Hudi 存储层由三个不同的部分组成

元数据 – 它以时间轴的形式维护了在数据集上执行的所有操作的元数据，该时间轴允许将数据集的即时视图存储在基本路径的元数据目录下。时间轴上的操作类型包括

  • 提交 (commit)，一次提交表示将一批记录原子写入数据集中的过程。单调递增的时间戳，提交表示写操作的开始。
  • 清理 (clean)，清理数据集中不再被查询中使用的文件的较旧版本。
  • 压缩 (compaction)，将行式文件转化为列式文件的动作。
  • 索引，将传入的记录键快速映射到文件 (如果已存在记录键)。索引实现是可插拔的，Bloom 过滤器 - 由于不依赖任何外部系统，因此它是默认配置，索引和数据始终保持一致。Apache HBase - 对少量 key 更高效。在索引标记过程中可能会节省几秒钟。
  • 数据，Hudi 以两种不同的存储格式存储数据。实际使用的格式是可插入的，但要求具有以下特征 – 读优化的列存储格式 (ROFormat)，默认值为 Apache Parquet；写优化的基于行的存储格式 (WOFormat)，默认值为 Apache Avro。

图片

2. 为什么 Hudi 对于大规模和近实时应用很重要？

Hudi 解决了以下限制：

  • HDFS 的可伸缩性限制；
  • 需要在 Hadoop 中更快地呈现数据；
  • 没有直接支持对现有数据的更新和删除；
  • 快速的 ETL 和建模；
  • 要检索所有更新的记录，无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新，Hudi 都允许用户使用最后一个检查点时间戳。此过程不用执行扫描整个源表的查询。

3. Hudi的优势

  • HDFS 中的可伸缩性限制；
  • Hadoop 中数据的快速呈现；
  • 支持对于现有数据的更新和删除；
  • 快速的 ETL 和建模。

（以上内容主要引用于：《Apache Hudi 详解》）

二、新架构与湖仓一体

通过湖仓一体、流批一体，准实时场景下做到了：数据同源、同计算引擎、同存储、同计算口径。数据的时效性可以到分钟级，能很好的满足业务准实时数仓的需求。下面是架构图：

图片

MySQL 数据通过 Flink CDC 进入到 Kafka。之所以数据先入 Kafka 而不是直接入 Hudi，是为了实现多个实时任务复用 MySQL 过来的数据，避免多个任务通过 Flink CDC 接 MySQL 表以及 Binlog，对 MySQL 库的性能造成影响。

通过 CDC 进入到 Kafka 的数据除了落一份到离线数据仓库的 ODS 层之外，会同时按照实时数据仓库的链路，从 ODS->DWD->DWS->OLAP 数据库，最后供报表等数据服务使用。实时数仓的每一层结果数据会准实时的落一份到离线数仓，通过这种方式做到程序一次开发、指标口径统一，数据统一。

从架构图上，可以看到有一步数据修正 (重跑历史数据) 的动作，之所以有这一步是考虑到：有可能存在由于口径调整或者前一天的实时任务计算结果错误，导致重跑历史数据的情况。

而存储在 Kafka 的数据有失效时间，不会存太久的历史数据，重跑很久的历史数据无法从 Kafka 中获取历史源数据。再者，如果把大量的历史数据再一次推到 Kafka，走实时计算的链路来修正历史数据，可能会影响当天的实时作业。所以针对重跑历史数据，会通过数据修正这一步来处理。

总体上说，这个架构属于 Lambda 和 Kappa 混搭的架构。流批一体数据仓库的各个数据链路有数据质量校验的流程。第二天对前一天的数据进行对账，如果前一天实时计算的数据无异常，则不需要修正数据，Kappa 架构已经足够。

（本节内容，引用自：《37 手游基于 Flink CDC + Hudi 湖仓一体方案实践》）

三、最佳实践

1. 版本搭配

版本选择，这个问题可能会成为困扰大家的第一个绊脚石，下面是 Hudi 中文社区推荐的版本适配：

Flink Hudi
1.12.2 0.9.0
1.13.1 0.10.0

建议用 Hudi master +Flink 1.13 这样可以和 CDC connector 更好地适配。

2. 下载Hudi

https://mvnrepository.com/artifact/org.apache.Hudi/Hudi-Flink-bundle

目前 maven 中央仓库，最新版本是 0.9.0 ，如果需要下载 0.10.0 版本 , 可以加入社区群，在共享文件中下载，也可以下载源码自行编译。

3. 执行

如果将 Hudi-Flink-bundle_2.11-0.10.0.jar 放到了 Flink/lib 下，则只需要如下执行即可，否则会出现各种找不到类的异常

bin/SQL-client.sh embedded

四、Flink on Hudi

新建 maven 工程，修改 pom 如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>Flink_Hudi_test</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <Flink.version>1.13.1</Flink.version>
        <Hudi.version>0.10.0</Hudi.version>
        <hadoop.version>2.10.1</hadoop.version>
    </properties>

    <dependencies>


        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>


        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-core</artifactId>
            <version>${Flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-streaming-java_2.11</artifactId>
            <version>${Flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-connector-jdbc_2.11</artifactId>
            <version>${Flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-java</artifactId>
            <version>${Flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-clients_2.11</artifactId>
            <version>${Flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-table-api-java-bridge_2.11</artifactId>
            <version>${Flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-table-common</artifactId>
            <version>${Flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-table-planner_2.11</artifactId>
            <version>${Flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-table-planner-blink_2.11</artifactId>
            <version>${Flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.Flink</groupId>
            <artifactId>Flink-table-planner-blink_2.11</artifactId>
            <version>${Flink.version}</version>
            <type>test-jar</type>
        </dependency>

        <dependency>
            <groupId>com.ververica</groupId>
            <artifactId>Flink-connector-mySQL-CDC</artifactId>
            <version>2.0.0</version>
        </dependency>

        <dependency>
            <groupId>org.apache.Hudi</groupId>
            <artifactId>Hudi-Flink-bundle_2.11</artifactId>
            <version>${Hudi.version}</version>
            <scope>system</scope>
            <systemPath>${project.basedir}/libs/Hudi-Flink-bundle_2.11-0.10.0-SNAPSHOT.jar</systemPath>
        </dependency>

        <dependency>
            <groupId>mySQL</groupId>
            <artifactId>mySQL-connector-java</artifactId>
            <version>5.1.49</version>
        </dependency>


    </dependencies>
</project>

我们通过构建查询insert into t2 select replace(uuid(),'-',''),id,name,description,now() from mySQL_binlog 将创建的 MySQL 表，插入到 Hudi 里。

package name.lijiaqi;

import org.apache.Flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.Flink.table.api.EnvironmentSettings;
import org.apache.Flink.table.api.SQLDialect;
import org.apache.Flink.table.api.TableResult;
import org.apache.Flink.table.api.bridge.java.StreamTableEnvironment;

public class MySQLToHudiExample {
    public static void main(String[] args) throws Exception {
        EnvironmentSettings fsSettings = EnvironmentSettings.newInstance()
                .useBlinkPlanner()
                .inStreamingMode()
                .build();
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, fsSettings);

        tableEnv.getConfig().setSQLDialect(SQLDialect.DEFAULT);

        // 数据源表
        String sourceDDL =
                "CREATE TABLE mySQL_binlog (\n" +
                        " id INT NOT NULL,\n" +
                        " name STRING,\n" +
                        " description STRING\n" +
                        ") WITH (\n" +
                        " 'connector' = 'jdbc',\n" +
                        " 'url' = 'jdbc:mySQL://127.0.0.1:3306/test', \n"+
                        " 'driver' = 'com.mySQL.jdbc.Driver', \n"+
                        " 'username' = 'root',\n" +
                        " 'password' = 'dafei1288', \n" +
                        " 'table-name' = 'test_CDC'\n" +
                        ")";

        // 输出目标表
        String sinkDDL =
                "CREATE TABLE t2(\n" +
                        "\tuuid VARCHAR(20),\n"+
                        "\tid INT NOT NULL,\n" +
                        "\tname VARCHAR(40),\n" +
                        "\tdescription VARCHAR(40),\n" +
                        "\tts TIMESTAMP(3)\n"+
//                        "\t`partition` VARCHAR(20)\n" +
                        ")\n" +
//                        "PARTITIONED BY (`partition`)\n" +
                        "WITH (\n" +
                        "\t'connector' = 'Hudi',\n" +
                        "\t'path' = 'hdfs://172.19.28.4:9000/Hudi_t4/',\n" +
                        "\t'table.type' = 'MERGE_ON_READ'\n" +
                        ")" ;
        // 简单的聚合处理
        String transformSQL =
                "insert into t2 select replace(uuid(),'-',''),id,name,description,now()  from mySQL_binlog";

        tableEnv.executeSQL(sourceDDL);
        tableEnv.executeSQL(sinkDDL);
        TableResult result = tableEnv.executeSQL(transformSQL);
        result.print();

        env.execute("mySQL-to-Hudi");
    }
}

查询 Hudi

package name.lijiaqi;

import org.apache.Flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.Flink.table.api.EnvironmentSettings;
import org.apache.Flink.table.api.SQLDialect;
import org.apache.Flink.table.api.TableResult;
import org.apache.Flink.table.api.bridge.java.StreamTableEnvironment;

public class ReadHudi {
    public static void main(String[] args) throws Exception {
        EnvironmentSettings fsSettings = EnvironmentSettings.newInstance()
                .useBlinkPlanner()
                .inStreamingMode()
                .build();
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        StreamTableEnvironment tableEnv = StreamTableEnvironment.create(env, fsSettings);

        tableEnv.getConfig().setSQLDialect(SQLDialect.DEFAULT);

        String sourceDDL =
                "CREATE TABLE t2(\n" +
                        "\tuuid VARCHAR(20),\n"+
                        "\tid INT NOT NULL,\n" +
                        "\tname VARCHAR(40),\n" +
                        "\tdescription VARCHAR(40),\n" +
                        "\tts TIMESTAMP(3)\n"+
//                        "\t`partition` VARCHAR(20)\n" +
                        ")\n" +
//                        "PARTITIONED BY (`partition`)\n" +
                        "WITH (\n" +
                        "\t'connector' = 'Hudi',\n" +
                        "\t'path' = 'hdfs://172.19.28.4:9000/Hudi_t4/',\n" +
                        "\t'table.type' = 'MERGE_ON_READ'\n" +
                        ")" ;
        tableEnv.executeSQL(sourceDDL);
        TableResult result2 = tableEnv.executeSQL("select * from t2");
        result2.print();

        env.execute("read_Hudi");
    }
}

展示结果

图片

五、Flink CDC 2.0 on Hudi

上一章节，我们使用代码形式构建实验，在本章节里，我们直接使用官网下载的 Flink 包来构建实验环境。

1. 添加依赖

添加如下依赖到 $Flink_HOME/lib 下：

  • Hudi-Flink-bundle_2.11-0.10.0-SNAPSHOT.jar (修改 Master 分支的 Hudi Flink 版本为 1.13.2 然后构建)
  • hadoop-mapreduce-client-core-2.7.3.jar (解决 Hudi ClassNotFoundException)
  • Flink-SQL-connector-mySQL-CDC-2.0.0.jar
  • Flink-format-changelog-json-2.0.0.jar
  • Flink-SQL-connector-Kafka_2.11-1.13.2.jar

注意，在寻找 jar 的时候，CDC 2.0 更新过group id ，不再试 com.alibaba.ververica 而是改成了 com.ververica

图片

2. Flink SQL CDC on Hudi

创建 MySQL CDC 表

CREATE  TABLE mySQL_users (
 id BIGINT PRIMARY KEY NOT ENFORCED ,
 name STRING,
 birthday TIMESTAMP(3),
 ts TIMESTAMP(3)
) WITH (
 'connector' = 'mySQL-CDC',
 'hostname' = 'localhost',
 'port' = '3306',
 'username' = 'root',
 'password' = 'dafei1288',
 'server-time-zone' = 'Asia/Shanghai',
 'database-name' = 'test',
 'table-name' = 'users'   
);

创建 Hudi 表

CREATE TABLE Hudi_users5(
 id BIGINT PRIMARY KEY NOT ENFORCED,
    name STRING,
    birthday TIMESTAMP(3),
    ts TIMESTAMP(3),
    `partition` VARCHAR(20)
) PARTITIONED BY (`partition`) WITH (
    'connector' = 'Hudi',
    'table.type' = 'MERGE_ON_READ',
    'path' = 'hdfs://localhost:9009/Hudi/Hudi_users5'
);

修改配置，让查询模式输出为表，设置 checkpoint

set execution.result-mode=tableau;

set execution.checkpointing.interval=10sec;

进行输入导入

INSERT INTO Hudi_users5(id,name,birthday,ts, partition) SELECT id,name,birthday,ts,DATE_FORMAT(birthday, 'yyyyMMdd') FROM mySQL_users;

查询数据

select * from Hudi_users5;

执行结果

图片

3. 卡执行计划

图片

这个问题研究了很久，表面上很正常，日志也没有任何报错，也可以看出来 CDC 起作用了，有数据写入，但是就是卡在 hoodie_stream_write 上一动不动，没有数据下发。感谢社区大佬 Danny Chan 的提点，可能是 checkpoint的问题，于是做了设置

set execution.checkpointing.interval=10sec;

于是终于正常：

图片

至此，Flink + Hudi 湖仓一体化方案的原型构建完成。

参考链接

https://blog.csdn.net/weixin_49218925/article/details/115511022

https://blog.csdn.net/qq_37095882/article/details/103714548

https://mp.weixin.qq.com/s/xoucbJxzO2Zkq_b2_WDUbA

文章标签：
实时计算 Flink版
云原生数据仓库AnalyticDB MySQL版
云消息队列 Kafka 版
云数据库 RDS MySQL 版
Java
消息中间件
流计算
SQL
关系型数据库
索引
MySQL
Kafka
Apache
存储
关键词：
云原生数据仓库AnalyticDB MySQL版解决方案
实时计算 Flink版湖仓解决方案
实时计算 Flink版解决方案
实时计算 Flink版湖仓
云原生大数据计算服务 MaxCompute解决方案
相关实践学习
基于Hologres+Flink搭建GitHub实时数据大屏
通过使用Flink、Hologres构建实时数仓，并通过Hologres对接BI分析工具（以DataV为例），实现海量数据实时分析.
实时计算 Flink 实战课程
如何使用实时计算 Flink 搞定数据处理难题？实时计算 Flink 极客训练营产品、技术专家齐上阵，从开源 Flink功能介绍到实时计算 Flink 优势详解，现场实操，5天即可上手！ 欢迎开通实时计算 Flink 版： https://cn.aliyun.com/product/bigdata/sc Flink Forward Asia 介绍： Flink Forward 是由 Apache 官方授权，Apache Flink Community China 支持的会议，通过参会不仅可以了解到 Flink 社区的最新动态和发展计划，还可以了解到国内外一线大厂围绕 Flink 生态的生产实践经验，是 Flink 开发者和使用者不可错过的盛会。 去年经过品牌升级后的 Flink Forward Asia 吸引了超过2000人线下参与，一举成为国内最大的 Apache 顶级项目会议。结合2020年的特殊情况，Flink Forward Asia 2020 将在12月26日以线上峰会的形式与大家见面。
阿里云实时计算Flink
目录
相关文章
灵杰开发者
|
2月前
|
存储 JSON 数据处理
Flink基于Paimon的实时湖仓解决方案的演进
本文源自Apache CommunityOverCode Asia 2025，阿里云专家苏轩楠分享Flink与Paimon构建实时湖仓的演进实践。深度解析Variant数据类型、Lookup Join优化等关键技术，提升半结构化数据处理效率与系统可扩展性，推动实时湖仓在生产环境的高效落地。
灵杰开发者
320 0
Flink基于Paimon的实时湖仓解决方案的演进
探索云世界
|
4月前
|
存储 SQL 分布式计算
MaxCompute x 聚水潭：基于近实时数仓解决方案构建统一增全量一体化数据链路
聚水潭作为中国领先的电商SaaS ERP服务商，致力于为88,400+客户提供全链路数字化解决方案。其核心ERP产品助力企业实现数据驱动的智能决策。为应对业务扩展带来的数据处理挑战，聚水潭采用MaxCompute近实时数仓Delta Table方案，有效提升数据新鲜度和计算效率，提效比例超200%，资源消耗显著降低。未来，聚水潭将进一步优化数据链路，结合MaxQA实现实时分析，赋能商家快速响应市场变化。
探索云世界
217 0
郑小健
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
郑小健
843 2
ClickHouse与大数据生态集成：Spark & Flink 实战
灵杰开发者
|
8月前
|
存储 缓存 数据挖掘
Flink + Doris 实时湖仓解决方案
本文整理自SelectDB技术副总裁陈明雨在Flink Forward Asia 2024的分享，聚焦Apache Doris与湖仓一体解决方案。内容涵盖三部分：一是介绍Apache Doris，一款高性能实时分析数据库，支持多场景应用；二是基于Doris、Flink和Paimon的湖仓解决方案，解决批流融合与数据一致性挑战；三是Doris社区生态及云原生发展，包括存算分离架构与600多位贡献者的活跃社区。文章深入探讨了Doris在性能、易用性及场景支持上的优势，并展示了其在多维分析、日志分析和湖仓分析中的实际应用案例。
灵杰开发者
634 17
Flink + Doris 实时湖仓解决方案
灵杰开发者
|
9月前
|
存储 关系型数据库 MySQL
Flink基于Paimon的实时湖仓解决方案的演进
本文整理自阿里云智能集团苏轩楠老师在Flink Forward Asia 2024论坛的分享，涵盖流式湖仓架构的背景介绍、技术演进和未来发展规划。背景部分介绍了ODS、DWD、DWS三层数据架构及关键组件Flink与Paimon的作用；技术演进讨论了全量与增量数据处理优化、宽表构建及Compaction操作的改进；发展规划则展望了Range Partition、Materialized Table等新功能的应用前景。通过这些优化，系统不仅简化了复杂度，还提升了实时与离线处理的灵活性和效率。
灵杰开发者
839 3
Flink基于Paimon的实时湖仓解决方案的演进
SelectDB
|
9月前
|
存储 SQL 数据挖掘
数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）
湖仓一体架构融合了数据湖的低成本、高扩展性，以及数据仓库的高性能、强数据治理能力，高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设，Apache Doris 提出了数据无界和湖仓无界核心理念，并结合自身特性，助力企业加速从 0 到 1 构建湖仓体系，降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
SelectDB
847 1
数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）
申某某
|
10月前
|
SQL 存储 大数据
Flink 基础详解：大数据处理的强大引擎
Apache Flink 是一个分布式流批一体化的开源平台，专为大规模数据处理设计。它支持实时流处理和批处理，具有高吞吐量、低延迟特性。Flink 提供统一的编程抽象，简化大数据应用开发，并在流处理方面表现卓越，广泛应用于实时监控、金融交易分析等场景。其架构包括 JobManager、TaskManager 和 Client，支持并行度、水位线、时间语义等基础属性。Flink 还提供了丰富的算子、状态管理和容错机制，如检查点和 Savepoint，确保作业的可靠性和一致性。此外，Flink 支持 SQL 查询和 CDC 功能，实现实时数据捕获与同步，广泛应用于数据仓库和实时数据分析领域。
申某某
6522 32
zdl
|
消息中间件 运维 大数据
大数据实时计算产品的对比测评：实时计算Flink版 VS 自建Flink集群
本文介绍了实时计算Flink版与自建Flink集群的对比，涵盖部署成本、性能表现、易用性和企业级能力等方面。实时计算Flink版作为全托管服务，显著降低了运维成本，提供了强大的集成能力和弹性扩展，特别适合中小型团队和业务波动大的场景。文中还提出了改进建议，并探讨了与其他产品的联动可能性。总结指出，实时计算Flink版在简化运维、降低成本和提升易用性方面表现出色，是大数据实时计算的优选方案。
zdl
514 56
技术小达人
|
8月前
|
存储 关系型数据库 MySQL
Flink基于Paimon的实时湖仓解决方案的演进
Flink基于Paimon的实时湖仓解决方案的演进
技术小达人
258 0
技术内容小助手
|
11月前
|
SQL 分布式计算 大数据
湖仓融合：MaxComputee与Hologres基于OpenLake的湖上解决方案
本次主题探讨湖仓融合：MaxCompute与Hologres基于OpenLake的湖上解决方案。首先从数据湖和数据仓库的历史及业界解决方案出发，分析湖仓融合的两种思路；接着针对国内问题，介绍阿里云如何通过MaxCompute和Hologres解决湖仓融合中的挑战，特别是在非结构化数据处理方面的能力。最后，重点讲解Object Table为湖仓增添了SQL生态的非结构化数据处理能力，提升数据处理效率和安全性，使用户能够在云端灵活处理各类数据。
技术内容小助手
326 7
大数据与机器学习

实时计算 Flink

热门文章

最新文章

  • 1
    数据仓库介绍与实时数仓案例
  • 2
    实时计算 Flink SQL 核心功能解密
  • 3
    通过Flink实时构建搜索引擎的索引
  • 4
    Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
  • 5
    阿里云实时计算产品案例&解决方案汇总
  • 6
    流计算精品翻译: The Dataflow Model
  • 7
    接着！！Apache Flink 全领域干货合集（持续更新）
  • 8
    回顾 | Kafka x Flink Meetup 与世界人工智能大会大数据 AI 专场精彩回顾（附PPT下载）
  • 9
    Flink SQL 功能解密系列 —— 流式 TopN 挑战与实现
  • 10
    Apache Flink 的迁移之路，2 年处理效果提升 5 倍
  • 1
    流、表与“二元性”的幻象
    64
  • 2
    Flink 智能调优：从人工运维到自动化的实践之路
    506
  • 3
    云栖实录｜驰骋在数据洪流上：Flink+Hologres驱动零跑科技实时计算的应用与实践
    141
  • 4
    Flink Agents 0.1.0 发布公告
    291
  • 5
    阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新，共筑基于 Apache Flink Agents 的智能体 AI 未来
    287
  • 6
    Flink基于Paimon的实时湖仓解决方案的演进
    320
  • 7
    Flink Agents：基于Apache Flink的事件驱动AI智能体框架
    1031
  • 8
    淘宝闪购基于Flink&Paimon的Lakehouse生产实践：从实时数仓到湖仓一体化的演进之路
    635
  • 9
    抖音基于Flink的DataOps能力实践
    261
  • 10
    Apache Flink错误处理实战手册：2年生产环境调试经验总结
    327

    • 相关产品

  • 实时计算 Flink版
    文档详情 产品详情

    • 相关课程

    更多
  • 大数据Flink实时旅游平台环境篇 2020版
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 实时计算 Flink 版产品入门与实操
  • 开源 Flink 极速上手教程
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Flink峰会 - 李佳林
  • Flink峰会 - 徐榜江
  • Flink CDC Meetup PPT - 龚中强
    • 下一篇
    阿里云对象存储OSS收费标准：500G存储118元1年、