Flink CDC 中为什么感觉Oracle的增量快照不好用呢？
Flink CDC 中为什么感觉Oracle的增量快照不好用呢？使用新的JdbcIncrementalSource的API，在中断重启之后总会有部分重复数据，但是使用旧的DebeziumSourceFunction的API在中断重启之后就不会发生数据重复的问题（CheckPoint代码是一致的）？
展开
收起
1
条回答
写回答
写回答
-
Oracle 的增量快照有以下几个缺点：
不支持表级的增量快照。
快照的大小可能比较大。
快照的生成可能比较耗时。
如果需要使用 Flink CDC 消费 Oracle 的数据，建议使用 Oracle 的分区表或外部表，这样可以避免使用增量快照。如果确实需要使用 Oracle 的增量快照，可以通过以下方式来优化性能：
使用 Flink 的 checkpoint 机制来保证数据的一致性。
设置 connector.oracle.snapshot.fetchSize 参数来减少快照的大小。
设置 connector.oracle.snapshot.isolationLevel 参数来减少快照的生成时间。2023-09-18 16:57:15赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？
1812
FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？
3138
请问如何用flink sql客户端用yarn application模式提交任务呢？
1291
编译失败，有知道怎么回事吗？
717
请问下有实现达梦数据库的 Flink CDC么?
810
Flink 集群重启后，所有的Jobs任务全都没有了。如果快速恢复所有的任务
923
Caused by: org.apache.kafka.common.errors.TimeoutE
2947
flink 1.18必须配套JDK11吗 1.8是不是不行了呢？
1576
flink怎么能够快速消费kafka数据，需要设置什么参数呢？
1136
flink任务报错: Job leader for job id 是啥原因导致的呢?
1425
展开全部
必看！Apache Flink 运维&实战系列直播，揭秘生产环境技术难点
3822
周末直播|Flink、Hologres、AI等热门话题全都安排！
3879
Flink CDC：新一代实时数据集成框架
254
实时计算 Flink版操作报错之遇到错误org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc'，该如何解决
983
实时计算 Flink版操作报错之遇到报错org.postgresql.util.psqlexception: The connection attempt failed.，该怎么解决
482
七大经典技术场景！Apache Flink 在多维领域应用的 40+ 实践案例
5539
实时计算引擎 Flink：从入门到深入理解
1267
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
104265
来！PyFlink 作业的多种部署模式
4873
Flink CDC产品常见问题之没有报错但是一直监听不到数据如何解决
391
展开全部
相关文章
相关电子书
更多
