开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC上游采集 指的是 binlog文件生成吗?

Flink CDC上游采集 指的是 binlog文件生成吗?

展开
收起
真的很搞笑 2023-12-19 08:07:22 58 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC是一个用于获取数据变动的工具,它能够从MySQL的binlog中读取数据的增删改等操作。在Flink中,我们可以通过使用Flink CDC连接器将Debezium集成为引擎来捕获数据更改。这个连接器支持从MySQL、PostgreSQL等数据库直接读取全量数据和增量变更数据。

    具体来说,上游采集指的是通过Flink CDC从MySQL的binlog文件中读取数据的过程。这个过程包括了从binlog文件中解析出数据更改事件,然后将这些事件转换为Flink程序可以处理的数据格式。这样,我们就可以通过Flink程序对这些数据进行进一步的处理和分析。

    2023-12-19 20:33:24
    赞同 展开评论 打赏
  • 调大这个参数和checkpoint时间image.png
    ,此回答整理自钉群“Flink CDC 社区”

    2023-12-19 16:17:11
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Apache Flink 案例集(2022版) 立即下载
    Flink峰会 - 陈政羽 立即下载
    PolarDB-X 2.0 全局 Binlog 与备份恢复能 立即下载