问题一:cdc数据源还不支持窗口聚合吗?
cdc数据源还不支持窗口聚合吗?#Flink
参考回答:
CDC数据出来是一个Changelog流,没法做窗口聚合
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/317162?spm=a2c6h.14164896.0.0.6cb9d9dfb0yj4F
问题二:Flink1.10版本的CDC是否支持SQL SERVER作为数据源?
如果支持的话在代码中该如何创建,不支持的话再未来的哪个版本计划推出?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/313094?spm=a2c6h.14164896.0.0.275fd9dfCWXRB5
问题三:flink cdc在抽取oracle全量数据之前会加表级排他锁,由于源端表数量大,在万张以上,锁表时长可能出现不可控的情况,而且对业务影响巨大。有没有方法解决这个问题
请问各位大佬,flink cdc在抽取oracle全量数据之前会加表级排他锁,由于源端表数量大,在万张以上,锁表时长可能出现不可控的情况,而且对业务影响巨大。有没有方法解决这个问题
参考回答:
使用cdc 2.0 以上的版本,2.0底层封装了无锁算法,对业务不影响
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/435781?spm=a2c6h.14164896.0.0.2a99d9dfhFjq24
问题四:Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红
大佬们?Flink CDC如何提高下游的消费能力? 我现在insert table 下游的算子已经红了?
SET 'parallelism.default' = '1';SET 'pipeline.max-parallelism' = '10'; 这两个吗?我设置了这两个参数 但是下游parall 还是1
大佬 我现在把源设置为了1;sink设置为了10; 但是sink会报错; 如果source为1 sink为1, sink没办法消费这么多全量数据 500W左右,消费能力不够,一直在消费。比如统计到了500w+, 然后又会从0开始统计,这样循环往复,insert到sink的时候,insert到sink的时候
类似这样,payoder.是订单表 source
参考回答:
加大并行,cdc并行度只有1,Jdbc消费数据?PAY order是cdc?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/519764?spm=a2c6h.14164896.0.0.28c7d9dfTCWOUs
问题五:Flink CDC中大佬们遇到数据源是Posegresql 主从集群,报一下错有遇到的吗?
请问Flink CDC中大佬们遇到数据源是Posegresql 主从集群,报一下错有遇到的吗?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/514137?spm=a2c6h.14164896.0.0.eb8dd9dfbHD5jL