问题一:Flink CDC采集mongo 怎么才能直接映射成一个josn 而不是按字段?
Flink CDC采集mongo 怎么才能直接映射成一个josn 而不是按字段?
参考回答:
'format' = 'debezium-json' 目前看看datastream写法是可以的
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570181
问题二:Flink CDC支持jdk21不?
Flink CDC支持jdk21不?
参考回答:
FLINK CDC 最低版本需要 JDK 1.8 及更高版本的支持。如果您不确定 FLINK CDC 是否兼容 JDK 21,请参阅官网文档以了解更多信息:https://ci.apache.org/projects/flink/flink-docs-release-1.14/dev/connectors
不同版本之间可能存在差异,请及时查阅相关文档。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572311
问题三:FLINk CDC 用本地的 rocksdb 做 state , IOPS消耗很高吗?
FLINk CDC 用本地的 rocksdb 做 state , IOPS消耗很高吗? 6800的IOPS还不够用,还需要每天额外付200多的磁盘性能突发费用 ?应该是我阿里云盘用错了 ,使用 ESSD AutoPL云盘 起步才6800 IOPS ,剩下的是弹性的 ,一块盘这个地方每天都画好几百 ,最普通的SSD都比他强很多倍,收费太贵了
参考回答:
您好!RocksDB作为一个嵌入式数据库,其设计目标是在有限的存储空间内实现高性能的数据存储和处理。因此,它在随机读写方面表现出色,但在大量连续读写的场景下可能不是最佳选择。
对于Flink CDC这种需要大量顺序读写的场景,使用SSD硬盘可能会更加合适。SSD硬盘在读写速度和耐用性方面都优于传统的机械硬盘,而且价格也相对较低。
另外,您提到的ESSD AutoPL云盘可能更适合用于缓存或临时数据的存储,而不适合用于长期存储或大量数据的处理。在选择云盘类型时,除了考虑IOPS之外,还需要考虑存储容量、持久化级别等因素。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570178
问题四:Flink CDC要求是每来一条输出一次结果,计算一个数值按照group id,有啥办法处理嘛?
Flink CDC要求是每来一条输出一次结果,计算一个数值按照group id,现在发现我一次发多条数据的时候,可能会触发一起计算,不是一条条的,有啥办法处理嘛?select id, count(1) over w as idcount
from KafkaSource
window w as (
partition by id
order by proc_time
range between interval '' hour preceding and current row
);
insert into KafkaSink
select id, count(1) over w as idcount
from KafkaSource
window w as (
partition by id
order by proc_time
range between interval '' hour preceding and current row
);
我直接到kafka 的,需要来一条处理一条,意思加上row number 一起使用嘛?
参考回答:
看下你的程序怎么写的,各个ddl配置。目标表在目标库的建表语句,需要看下需求场景,你可以下游按照id+hour做一个联合主键去重
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570177
问题五:Flink CDC读取过 Kingbase 人大金仓库吗?
Flink CDC读取过 Kingbase 人大金仓库吗?
使用flink 1.17.1使用pg-cdc 2.4.1 连接Kingbase人大金仓库,checkpoint开启了,启动后可以读取全量数据,但是增量数据(新增,修改、删除)都没任何反应,也没有任何异常消息是啥原因呢?不兼容吗?
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/570176