flinkcdc 2.4.2 抽取Oracle RAC, 多环境下的数据,但是采用的补充日志是主键补充日志,昨天9点54分时候,有一条INSERT 语句在归档日志里面有数据,但是CDC程序没有采集到(那段时间程序没有报错等情况),并发度设置的是6,这儿有影响吗 还是必须设置为1?
Flink CDC 2.4.2在抽取Oracle RAC环境下的数据时,如果遇到特定时间点的数据没有被正确捕获,而该时间段内程序未报错,这种情况可能涉及多个因素。并发度设置为6并不直接意味着会有问题,但确实可能间接影响数据捕获的逻辑,尤其是在特定的场景下。以下是可能的原因及排查方向:
SUPPLEMENTAL_LOG_DATA_PK
和SUPPLEMENTAL_LOG_DATA_UI
设置为YES
,以确保所有必要的变更信息都被记录下来。同时,要检查归档日志是否完整,且Flink CDC能够访问到所需时间段的所有日志。scan.startup.mode
、database.history.skip.unparseable.ddl
等参数,这些都可能影响数据的捕获。为了解决这个问题,建议先从日志入手,详细检查那段时间Flink CDC任务的日志,寻找是否有任何潜在的警告或信息可能指向问题所在。同时,对比Flink CDC的配置与Oracle的LogMiner配置,确保两者协同工作无误。如果问题仍然无法定位,考虑降低并发度至1作为测试,以排除并发处理的潜在影响,但这应该是最后的手段,因为合理的并行处理通常能提升整体性能。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。