问题一:Flink CDC中mysql cdc的tableList可以是正则吗?
Flink CDC中mysql cdc的tableList可以是正则吗,我设置正则,比如"database.^tableprefix",运行一直说匹配不到表,数据库明明有tableprefix开头的表?
参考答案:
你的正则写的不对
抄这个,表名是包含库名,你这个^在表了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579956
问题二:Flink CDC用rockdb增量快照 随着作业的运行 这个有什么解决办法吗 ?
Flink CDC用rockdb增量快照 随着作业的运行 MANIFEST 越来越大 导致 Checkpointed Data Size 更大,Checkpointe 用时更长了 这个有什么解决办法吗 ?420m了
source 是mysqlconnector 连的mysql 和 doris ,sink 是doris
参考答案:
etl+开窗的话,自己控制下state的保存时间和窗口时间上取一个合理点,我们这边etl一般不做任何操作的,如果不需要,设置半小时的satte ttl就行了
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579955
问题三:Flink CDC中mongo集合正则匹配?
"Flink CDC中mongo集合正则匹配,
比如 test_ab_0 和 test_ab_1 ,
我发现 'collection' = '.testab\d' 带 . 可以读;
但是 'collection' = 'testab\d' 就读不到了;"
参考答案:
需要带db名字在前test_ab_d.*
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579954
问题四:Flink CDC如果只是对集合名正则表达式,需要配置readAnyDatabase 这个么?
Flink CDC如果只是对集合名正则表达式,需要配置readAnyDatabase 这个么?
参考答案:
不需要配置readAnyDatabase
。如果你只想对符合特定正则表达式的集合名进行操作,可以在Flink CDC中通过设置include.schema.changes
参数来实现。
include.schema.changes
参数用于指定需要捕获的模式更改事件的类型。你可以使用正则表达式来匹配特定的模式更改事件。例如,如果你只想捕获表名以test_
开头的模式更改事件,可以这样配置:
include.schema.changes=test_.*
这样,Flink CDC将只捕获表名以test_
开头的模式更改事件,而忽略其他模式更改事件。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579952
问题五:Flink CDC中mongo cdc 集合名进行正则表达式,需要其他配置么?
Flink CDC中mongo cdc 集合名进行正则表达式,配置了官网这个权限和 readAnyDatabase ,需要其他配置么?
参考答案:
这个满足目前的所有了
关于本问题的更多回答可点击进行查看: