AI 助理
备案控制台
开发者社区 问答 正文

Flink读取CDC全量数据同步没有异常但是无法同步增量数据

已解决

Flink读取CDC全量数据同步没有异常但是无法同步增量数据

展开
收起
阿里云服务支持 2022-12-16 10:15:38 830 分享 版权
来自： 阿里云支持与服务

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

1 条回答
写回答
取消 提交回答
  • 阿里云服务支持
    官方回答

    1.MySQL CDC在做全量读到增量读的切换时，如果全量读是多并发，则在进入增量前要多等一个Checkpoint，来确保全量的数据已经写入到下游后再读取增量数据，从而保证数据的正确性。但是，如果设置的Checkpoint间隔时间比较大，例如20分钟，则会导致作业20分钟后才开始同步增量数据。因此，需要根据业务情况设置合理的Checkpoint间隔时间。

    2.如果使用的是RDS MySQL 5.6只读实例，该类型实例提供的binlog文件是经过简化的，日志中不包含数据，是无法读取到增量阶段的数据的。因此，这种情况建议使用可写实例或者升级RDS MySQL至更高版本。

    2022-12-16 10:21:11
    赞同 展开评论
问答分类：
流计算 实时计算 Flink版
问答标签：
实时计算 Flink版数据 实时计算 Flink版CDC 实时计算 Flink版cdc同步 实时计算 Flink版同步 实时计算 Flink版cdc数据
问答地址：
开发者社区 > 阿里云支持与服务 > 问答
相关问答
如何使用PolarDB-X的全局CDC功能将数据同步到下游的大数据系统？
117
1
0
DataWorks数据同步，什么时候支持写paimon呀，毕竟你们也有flink-cdc的？
172
2
0
在Flink用vvp 将数据同步到 我们自建的rabbitmq l里 是不是加 vvp的白名单才行？
77
2
0
DataWorks中odps+flink数据同步，odps在数据地图上已经能看到分区了？
109
0
0
在DataWorks中如何将OSS数据同步到MaxCompute
122
1
0
DataWorks数据同步报错Data too long for column
93
1
0
dataworks 数据同步性能的一些问题， 可以从那些方面提高独享集成资源组的同步性能？
84
1
0
DataWorks数据同步任务都是 mc -> 阿里的 adb 好像这样不会产生公网流量费用？
105
1
0
在实时数仓Hologres，通过dataworks将数据同步到hologres，需要打开每一张表吗？
90
1
0
DataWorks数据库变更数据同步到Hologres 的时候，怎么配置脱敏规则呢？
139
1
0