Flink CDC通过打印sourceRecord发现确实没有收到丢失的数据,有大佬知道什么情况吗?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
建议从 archive log 是否是每台机器都会同步update 的方向去考虑 ,我没用过oracle ,你可以检查下 ,如果不是你配置的节点执行的CURD操作,相关日志是否会同步到你配置的节点,具体的命令需要你自己去找资料 ,此回答整理自钉群“Flink CDC 社区”
Flink CDC 通过打印 sourceRecord 发现确实没有收到丢失的数据,可能有以下几种情况:
如果以上情况都没有问题,但仍然无法解决丢失数据的问题,可以尝试以下方法:
Flink CDC 通过打印 sourceRecord 发现确实没有收到丢失的数据,这可能是因为 FlinkFlink CDC 通过打印 sourceRecord 发现确实没有收到丢失的数据,这可能是因为 Flink CDC 在处理数据时已经确保了数据的完整性。Flink CDC 会按照一定的时间间隔去拉取数据源的 binlog,然后根据 binlog 中记录的事务信息将数据源中的数据变更转化为 Flink 中的 ChangeLogStream。在这个过程中,Flink CDC 会保证每个事务中的所有数据变更都会被正确地处理,从而避免了数据丢失的情况。
当然,如果出现了数据丢失的情况,也有可能是由于其他原因导致的。例如,数据源中的某个表被误删了或者被重命名了,导致 Flink CDC 无法正确地读取该表的数据变更。此时需要检查数据源的状态以及 Flink CDC 的配置是否正确。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。