开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC项目运行环境与现状是什么样的?

Flink CDC项目运行环境与现状是什么样的?

展开
收起
游客cum3jectrqmmy 2022-01-19 16:35:29 2523 0
1 条回答
写回答
取消 提交回答
  • 在生产环境搭建了 Hadoop + Flink + Elasticsearch 分布式环境,采用的 Flink on YARN 的 per-job 模式运行,使用 RocksDB 作为 state backend,HDFS 作为 checkpoint 持久化地址, 并且做好了 HDFS 的容错,保证 checkpoint 数据不丢失。我们使用 SQL Client 提交作业,所有 作业统一使用纯 SQL,没有写一行 Java 代码。 目前已上线了多个基于 Flink CDC 的作业,并且业务产生的订单实收和账单实收数据能实时聚合输 出到 Elasticsearch,输出的数据准确无误。现在也正在对其他报表采用 Flink CDC 进行实时化改 造,替换旧的业务系统,让系统数据更实时。

    资料来源:《Flink CDC:新一代数据集成框架》,下载链接:https://developer.aliyun.com/topic/download?id=8256。

    2022-01-19 20:55:39
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载