Flink流处理过程中，涉及到大量历史数据，需要关联后输出，是不是只能从DB里面再查出来关联，感觉？
Flink流处理过程中，涉及到大量历史数据，需要关联后输出，是不是只能从DB里面再查出来关联，感觉会慢很多吧，有没有其他好方案？
展开
收起
1
条回答
写回答
写回答
-
可以使用 Flink CDC 来实时读取数据库变化，然后与实时数据进行关联处理。
Flink CDC 可以通过监听数据库的 binlog 日志，实时捕获数据库的变更，并将变更数据转换为 Flink 的流数据。然后，Flink 就可以将流数据与实时数据进行关联处理。
Flink CDC 可以通过以下方式实时读取数据库变化：
使用 Flink CDC 的 Debezium 连接器
使用 Flink CDC 的 MySql 连接器
使用 Flink CDC 的 PostgreSQL 连接器
使用 Flink CDC 的 Oracle 连接器
使用 Flink CDC 进行实时读取数据库变化，可以实现以下优势：实时性高
数据一致性好
无需维护数据同步程序
希望本文对你有所帮助。2023-09-26 11:22:52赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
FFA 2024 大会门票免费送！AI时代下大数据技术未来路在何方？
1676
flink1.20.0 部署后发布报错，是怎么回事，各种配置都配置了
279
在建行，数据通常来源于哪些？
539
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3609
Flink 集群重启后，所有的Jobs任务全都没有了。如果快速恢复所有的任务
1283
请问如何用flink sql客户端用yarn application模式提交任务呢？
1565
Flink如何配置Task Manager？
694
Slot request bulk is not fulfillable，20以上job同时部署失败
782
请教下，finksql 这个statettl 哪里设置
1606
请问flink-connector-jdbc在sink时，如何设置批量写入？
3178
展开全部
权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算
24480
OPPO数据中台之基石：基于Flink SQL构建实数据仓库
21931
Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示
23405
Apache Flink 零基础入门（三）：DataStream API 编程
6807
阿里巴巴大规模应用Flink的踩坑经验：如何大幅降低 HDFS 压力？
3395
Flink入坑指南第五章 - 语法糖 view
3846
Flink 流批一体的实践与探索
6064
如果你也想做实时数仓…
2702
祝贺！两位 Apache Flink PMC 喜提 Apache Member
2789
实时数仓、1.10生产实践、AI 都来了，2020 首场 Flink 社区 Meetup，可！
1465
展开全部
相关课程
更多
相关文章
相关电子书
更多
