问题一:在Flink CDC中, Flink 1.13.6 的文件系统 checkpoint 模式下?
在Flink CDC中, Flink 1.13.6 的文件系统 checkpoint 模式下,同步记录增加会使 chk-x 目录内的 uuid 格式文件变大,该文件保存了同步的数据记录。尽管数据已同步至数据库,全量同步记录仍存于内存并在ck时持久化,这可能导致taskmanager内存超限而挂掉。有人研究过这个问题吗?
参考答案:
SinkMaterializer会导致state一直增大,可选关闭,或者直接改用rocksdb状态后端。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582201
问题二:Flink CDC 支持视图拉取吗?
Flink CDC 支持视图拉取吗?
参考答案:
不支持
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582197
问题三:Flink CDC3.0目前支持sinkd到clickhouse吗?
Flink CDC3.0目前支持sinkd到clickhouse吗?
参考答案:
不支持
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582192
问题四:Flinkcdc3.0支持从ob-oracle到Starrocks吗?
Flinkcdc3.0支持从ob-oracle到Starrocks吗?
参考答案:
Flinkcdc3.0目前支持从MySQL 到 StarRocks。
——参考来源于FlinkCDC官方文档。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582188
问题五:Flink CDC这是bug吗?
Flink CDC这是bug吗,我cdc-2.3,startOption 为 latest,开启动态加表,加表重启后这个表的数据处理就会报错,说是状态里面没有offset
在创建checkpint后,修改了 t2 表结构,然后再新增 t2表重启就会出现这个问题
参考答案:
就只能尽量确保任务失败期间没有schema change,可以监控一下任务失败了拉起来
关于本问题的更多回答可点击进行查看: