Flink CDC中oracle-cdc上过生产吗?单表百万,15个表大概,而且还有中间大状态融合和聚合?我并行读老出这个把数据库都弄崩了,我没有去深入研究数据库崩掉是不是这个原因引起的,但是猜测是都是同时发生的?
我并行读老出这个把数据库都弄崩了,我没有去深入研究数据库崩掉是不是这个原因引起的,但是猜测是都是同时发生的?
Flink CDC在生产环境中实时同步Oracle数据库的案例是可行的,许多用户Flink CDC在生产环境中实时同步Oracle数据库的案例是可行的,许多用户已经在生产环境中使用 Flink CDC 采集和同步 Oracle 数据。具体操作中,需要先确保Oracle中相关表已开启归档日志和补充日志,因为Flink CDC基于Debezium的LogMiner实现,LogMiner需要使用Oracle的归档日志和补充日志来获取变更数据。然后,在Flink程序中创建Oracle CDC连接,通过SQL语句定义同步任务。
对于你的情况,即单表百万记录,15个表,并且存在中间大状态融合和聚合的问题,需要注意的是,Flink CDC相当于提供了实时物化视图,可以对这些数据做进一步加工,比如清洗、聚合、过滤等。但是,如果并行读取时出现过载现象,可能会导致数据库压力过大甚至崩溃。你提到的情况可能就是由于这个原因引起的。
因此,你需要对Flink作业进行调整优化,保证并行度适中,避免给数据库带来过大压力。同时,也需要考虑是否可以通过调整数据处理逻辑或者增加资源等方式来解决此问题。例如,采用分批次读取数据,或者对状态进行合理的拆分和合并等策略。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。