问题一:Flink CDC有办法统计同步数据源端和目标端的完整性吗?
Flink CDC有办法统计同步数据源端和目标端的完整性吗?如果一条数据写不出去,整个任务都会失败的
参考回答:
检查点配合exactly_once就是为了保证完整性
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572243
问题二:有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?
有遇到有Flink CDC同步到hudi,hdfs上有文件,hive没有自动建表?
参考回答:
这个和cdc没关系,你去看hudi对应的flink连接器的怎么配置,hudi的catlog怎么用的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572242
问题三:Flink CDC上面的TaskManager里面slot数量有办法能动态调整么?
Flink CDC上面的TaskManager里面slot数量有办法能动态调整么??
参考回答:
现在1.18支持动态调整并行度,任务所需的slot就会减少
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572241
问题四:Flink CDC这是准备适配 1.18了吧?
Flink CDC这是准备适配 1.18了吧?
参考回答:
如果是已经接受的pr就是
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572240
问题五:Flink CDC中mysql cdc 指定timestamp 消费怎么check是否按照指定时间?
Flink CDC中mysql cdc 指定timestamp 消费 我设置了具体时间戳 怎么check是否按照指定时间消费。我看flink metrics 延迟是从最早的时间点消费的。日志里面没有找到具体信息?好像有个问题 我看binlog文件很少 是不是制定timestamp后找到binglong文件会从offset 0开始消费 这样时间就会变长
参考回答:
目前是遍历,如果你的binlog文件很大很多,确实会慢点,代码结构就是遍历binlog,一直到你指定时间戳的大小才会开始拿数据
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572239