问题一:Flink 想全量同步,但是历史数据只同步过来最后一条,请问一下什么原因导致的呀?
Flink CDC 中scan.startup.mode设置了initial,想全量同步,但是历史数据只同步过来最后一条,请问一下什么原因导致的呀?源库与目标库都是oracle
参考答案:
当scan.startup.mode
设置为initial
时,Flink CDC应该从指定的起始SCN(系统改变号)开始读取所有历史数据。如果仅同步到了最后一条记录,可能是由于:
起始SCN设置不正确,没有指向期望的历史数据起点。
配置项有误,没有正确指定要包含所有历史数据的范围。
源库的CDC配置问题,例如binlog格式、过滤规则或其他相关设置限制了Flink CDC获取全量数据的能力。
状态保留或checkpoint问题,如果作业的状态已清理或checkpoint未能完整保存历史进度信息。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605999
问题二:Flink什么参数可以让多张表同时写入,而不是一张接一张写入?
Flink什么参数可以让多张表同时写入,而不是一张接一张写入?
参考答案:
您好
1 给作业添加并发试下
2 您server-id 这个参数是设置的单个数值还是一个区间,如果是单数值的话,给个区间试下,区间数值的个数需要大于并发数
3 以上方法还是串行的话,作业链接麻烦提供下。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605997
问题三:Flink的cdas语法支持mongodb,如果是不定结构的collection写到下游会怎么适配?
Flink的cdas语法支持mongodb后,如果是不定结构的collection写到下游会怎么适配?
参考答案:
如果Flink的CDA(Change Data Appliance)支持MongoDB作为数据源或目的地,对于MongoDB中存储的不定结构文档,Flink需要提供相应的Schema解析和序列化/反序列化方式来适配这种数据类型。通常,Flink会利用JSON schema映射或者其他灵活的数据模型转换机制,使得Flink作业能够处理MongoDB中嵌套或动态字段的集合。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605995
问题四:知道Flink这个问题是什么原因吗?检查点时间,我可以改为2秒嘛?
我看到日志提示:com.selectdb.flink.sink.writer.SelectdbWriter [] - checkpoint arrived, upload buffer to storage之后,数据就开始同步去源数据了,所以,我试着把 检查点 的时间从180秒改为20秒。结果发现,数据现在延时大概20秒左右就同步到源表了。知道Flink这个问题是什么原因吗?检查点时间,我可以改为2秒嘛?
参考答案:
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605994
问题五:Flink使用cats特性同步mysql到starrocks中可以开启容忍模式吗?
Flink使用cats特性同步mysql到starrocks中可以开启容忍模式吗?
参考答案:
我看了一下starrocks的文档,其中并没有提到宽容模式,应该是不可以的。
关于本问题的更多回答可点击进行查看: