1
条回答
写回答
写回答
-
在生产环境搭建了 Hadoop + Flink + Elasticsearch 分布式环境，采用的 Flink on YARN 的 per-job 模式运行，使用 RocksDB 作为 state backend，HDFS 作为 checkpoint 持久化地址， 并且做好了 HDFS 的容错，保证 checkpoint 数据不丢失。我们使用 SQL Client 提交作业，所有 作业统一使用纯 SQL，没有写一行 Java 代码。 目前已上线了多个基于 Flink CDC 的作业，并且业务产生的订单实收和账单实收数据能实时聚合输 出到 Elasticsearch，输出的数据准确无误。现在也正在对其他报表采用 Flink CDC 进行实时化改 造，替换旧的业务系统，让系统数据更实时。
资料来源：《Flink CDC：新一代数据集成框架》，下载链接：https://developer.aliyun.com/topic/download?id=8256。
2022-01-19 20:55:39赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
1802
flink1.15启动后无法访问webui的问题有人遇到过吗
9781
Flink CDC有遇见这个问题的吗？
452
Flink这个未授权访问漏洞有什么解决方案吗？
472
Caused by: org.apache.kafka.common.errors.TimeoutE
2217
请问flink-connector-jdbc在sink时，如何设置批量写入？
2224
Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行
700
flink 1.18必须配套JDK11吗 1.8是不是不行了呢？
844
有flink同步人大金仓数据库的CDC吗？
261
"flink-cdc-connector-mysql，这个报错怎么解决的？
1245
展开全部
Apache Flink 进阶入门（二）：Time 深度解析
4580
官宣｜Apache Paimon 毕业成为顶级项目，数据湖步入实时新篇章！
1754
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
100808
基于OceanBase+Flink CDC，云粒智慧实时数仓演进之路
207
阿里云实时计算产品案例&解决方案汇总
24472
Flink CDC产品常见问题之读分布式mysql报连接超时如何解决
291
Flink DataSet API迁移到DataStream API实战
120
阿里云实时计算Flink的产品化思考与实践【下】
111227
十大行业经典案例！Apache Flink 的 40 个最佳实践
13694
数据仓库介绍与实时数仓案例
40195
展开全部
相关文章
相关电子书
更多
