问题一:Flink CDC中sink写mysql,表既有主键又有唯一键,不是幂等的,遇到过这种吗?
Flink CDC中sink写mysql,表既有主键又有唯一键,不是幂等的,只能用精确一次语义,大佬遇到过这种吗?
参考答案:
是的,Flink CDC中sink写MySQL时,如果表既有主键又有唯一键,且不是幂等的,那么只能使用精确一次语义。在这种情况下,Flink CDC会确保每次插入或更新操作都是唯一的,不会出现重复的数据。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577326
问题二:flinkcdc的source定义的表如果长时间不更新,这个问题可以改进吗?
flinkcdc的source定义的表如果长时间不更新,checkpoints进度也不更新,有可能哪个时间从checkpoints重启会导致任务找不到点位失败,这个问题可以改进吗?
参考答案:
对于Flink CDC的source定义的表如果长时间不更新,checkpoints对于Flink CDC的source定义的表如果长时间不更新,checkpoints进度也不更新的问题,确实存在从checkpoint重启后找不到位置而失败的风险。这种情况可能是由于任务长时间被阻塞,导致无法进行checkpoint。
要解决这个问题,您可以尝试以下方法:
- 增加TaskManager数量或者调整TaskManager的内存和CPU资源,以提高任务的处理能力。
- 减少数据源的写入量或者优化数据源的写入方式,以减轻任务的压力。
- 调整Flink CDC的checkpoint间隔时间,使其更符合实际的数据更新频率。
- 调整Flink CDC的checkpoint超时时间,以防止因checkpoint过长而导致的任务失败。
- 提高flink task的failover次数,修改单次task checkpoint时长,达到在全量同步阶段,不至于task不停重试。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577324
问题三:Flink CDC测试使用initial模式,使用savepoint停掉,不会做全量同步?
Flink CDC测试使用initial模式,使用savepoint停掉,删除一个表后,再使用savepoint启动,然后再使用savepoint停掉,加上表,再使用savepoint启动,最终加进去的这个表只会做增量同步,不会做全量同步?
参考答案:
动态加表,不是动态删表,你这个操作不符合正常逻辑,你想重新全量就直接重启, 不要savepoint,但是会导致其他的表都重新拉一遍,这个数据量很大。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577323
问题四:Flink CDC临时新增一个batch任务对于线上的变更来说,还是有一些额外的风险。流程也很长?
Flink CDC临时新增一个batch任务对于线上的变更来说,还是有一些额外的风险。变更管理严格的场景下,流程也很长?
参考答案:
3.0会自动发现表,这个问题就不是问题了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577321
问题五:Flink CDC2.4同步pg到paimon少部分时间不正常这是为什么?原始数据是正常的?
Flink CDC2.4同步pg到paimon少部分时间不正常这是为什么?原始数据是正常的?
参考答案:
看着像是时间错没有除以1000 然后直接from_unixtime 导致的
关于本问题的更多回答可点击进行查看: