问题一:Flink CDC支持达梦数据库同步吗?
Flink CDC支持达梦数据库同步吗?
参考答案:
这是个闭源产品,不支持
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582208
问题二:Flink CDC上下游不一致是因为我数据筛选时候用了trim()吗?
Flink CDC上下游不一致是因为我数据筛选时候用了trim()吗?【insert into target select trim(xxx) from source】
参考答案:如果确定不会有乱序问题可以设置:
table.exec.sink.upsert-materialize = none
关闭它 ,
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582207
问题三:Flink CDC中DataStream 方式能实现 oracle-->的数据同步吗?
Flink CDC中DataStream 方式能实现 oracle--> oceanbase 的数据同步吗?
参考答案:
自己写入datastream是可以的
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582206
问题四:Flink CDC中ttl要怎么设置的,我用的是table api ?
Flink CDC中ttl要怎么设置的,我用的是table api ?
参考答案:
ExecutionConfigOptions.IDLE_STATE_RETENTION
table.exec.state.ttl
tableEnv.getConfig().setIdleStateRetention()
这三个方式设置都行,你要不试试让 sink table的主键和上游一致?我看你发的图应该只有这个SinkMaterializer 算子存在状态
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/582205
问题五:Flink CDC 中ttl只在有开窗时候有效,不知道ttl是不是这样设置呢?
Flink CDC 中ttl只在有开窗时候有效,试过用rocketsdb解决这个问题,但我看rocksdb模式也会占用不小的文件空间;也尝试过设置tableEnv.getConfig().setIdleStateRetention,但是没效果,不知道ttl是不是这样设置呢?
参考答案:
TTL不只是窗口,是所有算子状态有效,SinkMaterializer 这个算子在你group key和sink table primary key不一致时会产生,state缓存数据来保证一致性,也要考虑进去。rocksdb 是LSM模式 肯定会占用不少文件空间 和写放大,但是很少出现tm内存溢出。
关于本问题的更多回答可点击进行查看: