问题一:Flink CDC 测试发现update 拿到的数据很多字段是null ,实际是有值,这个有解吗?
Flink CDC oracle cdc2.4.1 oracle 12c 测试发现update 拿到的数据很多字段是null ,实际是有值,这个有解吗?
参考回答:
这个问题可能是由于Oracle CDC的捕获策略或者Flink Oracle CDC connector的实现导致的。在Oracle 12c中,默认的捕获策略是"capture all changes",这意味着它会将所有类型的DML(包括UPDATE)记录为INSERT和DELETE。这样,当你从CDC获取UPDATE记录时,你可能会发现许多字段是NULL,因为这些字段在原始的行中没有值。
为了解决这个问题,你可以尝试以下几种方法:
- 更改Oracle的捕获策略:你可以尝试将Oracle的捕获策略更改为"capture before and after images",这样你就可以获取到原始行和新行的完整信息,而不是只有DML操作的类型和键值。
- 优化Flink Oracle CDC connector的实现:你可以尝试向Flink的开发者报告这个问题,看看他们是否可以优化Flink Oracle CDC connector的实现,以便更好地处理UPDATE记录的NULL值。
- 使用其他的数据源:如果你无法解决这个问题,你也可以考虑使用其他的数据源,例如MySQL、PostgreSQL等,这些数据库的CDC实现可能没有这个问题。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567438
问题二:Flink CDC那个2.4.2的包出来了吗?
Flink CDC那个2.4.2的包出来了吗?maven仓库貌似还没有
参考回答:
可能还要等会,我早上起来才发现OSS上的构件发布忘记close,还需要一会,可以用了我会在群里挂公告
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567437
问题三:oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?
oracle存量同步,归档日志也没了,Flink CDC用不了吧?这个有推荐的工具吗?datax做存量同步,同时cdc做增量同步,这个方案是不是也可以,近实时性要求
参考回答:
datax全量同步, 然后根据时间戳定时跑增量数据. (如果你们实时性要求不高的话, 一般跑增量就30分钟一次).是可以的,但是要保证你的目标库要有幂等性, 同一条数据插入几次,不会重复
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567432
问题四:Flink CDC mongo cdc全量快照不能并发读么?
Flink CDC mongo cdc全量快照不能并发读么?
参考回答:
可以的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567430
问题五:Flink CDC问下oracle cdc是只读了在线重做日志 还是归档日志也读了?
Flink CDC问下oracle cdc是只读了在线重做日志 还是归档日志也读了?
参考回答:
Oracle CDC同时读取重做日志和归档日志文件。重做日志,也称为在线重做日志,用来记录数据发生事务的信息以及Oracle内部行为引起的数据库变化信息。归档日志文件,也被称为归档重做日志,是已经由Oracle写入在线重做日志文件的数据文件的拷贝。在使用CDC Replication与Oracle数据库一起操作时,需要对这两类日志进行物理访问,并保留这些日志,直到该产品关闭或隐藏。此外,还需要配置补充日志记录以满足CDC Replication的需求。所以,Oracle CDC在工作时会同时读取这两种类型的日志。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/567429