开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问下我用这个initial 模式读取mysql的数据到kafka,怎么存量数据的snapshot都

请问下我用这个initial 模式读取mysql的数据到kafka,怎么存量数据的snapshot都是false。

展开
收起
十一0204 2023-04-10 23:13:53 231 0
1 条回答
写回答
取消 提交回答
  • 值得去的地方都没有捷径

    在使用Debezium将MySQL数据读取到Kafka时,snapshot的默认值是false,这意味着Debezium只会从当前的binlog位置开始读取数据,而不会读取之前的历史数据。如果您需要读取历史数据,您需要将snapshot设置为true。

    要将snapshot设置为true,您需要在Debezium的配置文件中添加以下配置:

    "snapshot.mode": "initial" 这会告诉Debezium在启动时进行一次全量的数据快照,并将其写入到Kafka的相应主题中。在快照完成后,Debezium会继续从当前的binlog位置开始读取数据,并将其写入到Kafka中。

    请注意,启用snapshot模式可能会导致Debezium在启动时读取大量的数据,并将其写入到Kafka中。这可能会对Kafka集群和网络带宽造成一定的压力。因此,您应该在启用snapshot模式之前仔细考虑您的系统资源和网络带宽,并确保它们可以承受这种压力。

    2023-04-14 21:58:12
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
Java Spring Boot开发实战系列课程【第16讲】:Spring Boot 2.0 实战Apache Kafka百万级高并发消息中间件与原理解析 立即下载
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute 立即下载
消息队列kafka介绍 立即下载

相关镜像