问题一:Flink CDC 里3.0的pipelineComposer的这两个是做了什么?
Flink CDC 里3.0的pipelineComposer的这两个是做了什么?
参考回答:
SchemaOperatorTranslator这个是处理schema变更的event 当数据的类型是SchemaChangeEvent时 要暂停数据流 刷新数据入库 执行schema变更的语句等都是在 SchemaOperatorTranslator这里发请求的
PartitioningTranslator这个是用来均衡数据的 如果不用这个 你直接用reblance hash分区也可以的哦.
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602814
问题二:Flink CDC是不是只能在报错的时候再调整为其他的值了?
Flink CDC是不是只能在报错的时候再调整为其他的值了?
参考回答:
你可以把你的简写翻译成10进制再加个言,作为前缀、后缀,这样重复概率比较低了吧。还可以整库同步到kafka,你们消费kafka按照group_id也是唯一的了,这样还减轻了源端mysql的压力
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602810
问题三:Flink CDC 里这个依赖问题怎么解决?
Flink CDC 里这个依赖问题怎么解决?
参考回答:
你用helper查一下guava的依赖都有哪些。下载个插件 maven helper 然后全局搜索 看哪些依赖用到这个guava。参考:
https://github.com/apache/flink-cdc/issues/3071
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602808
问题四:Flink CDC 里mysql 表有个time类型的字段同步到Doris的时候出现这个问题怎么办?
Flink CDC 里mysql 表有个time类型的字段同步到Doris的时候出现这个问题怎么办?
参考回答:
有这个问题 使用cdc3.0 你这是在创建doris表的时候报的错 原因是doris只支持date和datetime类型 我们把这块给改了 改成varchar了 。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602805
问题五:Flink CDC 我这个任务运行很长时间了,突然报这个错,是因为其他任务的id与它的重复了吗?
Flink CDC 我这个任务运行很长时间了,突然报这个错,是因为其他任务的id与它的重复了吗?
参考回答:
不是,这个可以随便起的,不是必须5400-6400,如果不指定,系统会默认从5400-6400取一个。可以。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/602799