开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC有什么实时数仓开发规范之类的文档推荐一下?

Flink CDC有什么实时数仓开发规范之类的文档推荐一下?

展开
收起
真的很搞笑 2023-11-21 09:16:57 103 0
3 条回答
写回答
取消 提交回答
  • Apache Flink官方提供了一些关于实时数仓开发的规范和最佳实践,以下是一些推荐的文档:

    1. 《Apache Flink: Streaming Verarbeitung mit Java, Scala und Python》:这本书详细介绍了如何使用Flink进行实时数据处理,包括如何设计和实现实时数仓。

    2. 《Flink SQL权威指南》:这份文档详细介绍了如何使用Flink SQL进行实时数据处理,包括如何定义和操作表,以及如何使用SQL进行复杂的查询和转换。

    3. 《Apache Flink: Stream Processing in Action》:这本书详细介绍了如何使用Flink进行实时数据处理,包括如何设计和实现实时数仓。

    4. 《Apache Flink: Stateful Streaming with Apache Flink》:这份文档详细介绍了如何使用Flink进行状态化的实时数据处理,包括如何在实时数仓中使用状态。

    5. 《Apache Flink: Event-driven Programming with Apache Flink》:这份文档详细介绍了如何使用Flink进行事件驱动的实时数据处理,包括如何在实时数仓中使用事件驱动编程。

    以上这些文档都是英文的,如果你对中文文档有更强的需求,可以考虑阅读由阿里巴巴开源的《Flink核心技术与实战》一书。

    2023-11-21 14:55:31
    赞同 展开评论 打赏
  • Apache Flink是一个开源流处理框架,它的CDC(Change Data Capture)组件可以实现从关系型数据库中实时捕获数据变更,并将这些变化的数据实时传输到其他数据系统,例如Kafka、Elasticsearch、HBase等。没有专门针对Flink CDC实时数仓开发规范的官方文档,但有一些博客文章和社区讨论可以参考,其中涉及到了一些实用的技巧和最佳实践。以下是一些相关的资源:

    2023-11-21 14:21:31
    赞同 1 展开评论 打赏
  • 基于Flink+Hologres搭建实时数仓https://help.aliyun.com/zh/flink/use-cases/build-real-time-data-warehouse-based-on-flink-hologres?spm=a2c4g.11186623.0.i187

    本文为您介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。

    背景信息
    随着社会数字化发展,企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外,大量业务需要解决面向实时加工、实时存储、实时分析的实时场景问题。传统离线数仓搭建的方法论比较明确,通过定时调度实现数仓分层(ODS->DWD->DWS->ADS);但对于实时数仓的搭建,目前缺乏明确的方法体系。基于Streaming Warehouse理念,实现数仓分层之间实时数据的高效流动,可以解决实时数仓分层问题。

    方案架构
    实时计算Flink版是强大的流式计算引擎,支持对海量实时数据高效处理。Hologres是一站式实时数仓,支持数据实时写入与更新,实时数据写入即可查。Hologres与Flink深度集成,能够提供一体化的实时数仓联合解决方案。本文基于Flink+Hologres搭建实时数仓的方案架构如下:

    Flink将数据源写入Hologres,形成ODS层。

    Flink订阅ODS层的Binlog进行加工,形成DWD层再次写入Hologres。

    Flink订阅DWD层的Binlog,通过计算形成DWS层,再次写入Hologres。

    最后由Hologres对外提供应用查询。

    2023-11-21 11:39:01
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载