开发者社区> 问答> 正文

未来规划中如何基于 Flink 打造流批一体的数据计算平台?

未来规划中如何基于 Flink 打造流批一体的数据计算平台?

展开
收起
真的很搞笑 2024-07-22 22:36:59 48 0
2 条回答
写回答
取消 提交回答
  • 未来规划中,将基于 Flink 的流处理能力,结合其批处理功能,打造流批一体的数据计算平台。这将使得数据在平台内既可以按照流式处理实时数据,也可以按照批处理模式处理历史数据,实现数据处理的统一和高效。

    2024-07-23 09:50:57
    赞同 1 展开评论 打赏
  • 基于Flink构建流批一体的实时数仓是目前数据仓库领域比较火的实践方案。随着Flink的不断迭代,其提供的一系列技术特性使得用户构建流批一体的应用变得越来越方便。本文将以Flink1.12为例,一一介绍这些特性的基本使用方式,主要包括以下内容:

    Flink集成Hive
    Hive Catalog与Hive Dialect
    Flink读写Hive
    Flink upsert-kafka连接器
    Flink CDC的connector

    image.png
    参考文档https://zhuanlan.zhihu.com/p/344144942

    2024-07-23 08:45:11
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载