问题一:在Flink CDC中消费kafka时如何区分不同record对应是哪个表?
在Flink CDC中Pipeline 从Mysql到Kafka,route映射后,将A库写入topicA,B库写入topicB后,消费kafka时如何区分不同record对应是哪个表?
参考答案:
当Flink CDC从MySQL将A库的数据路由到Kafka的topicA,B库的数据路由到topicB时,每个库的数据会被写入不同的topic。在消费Kafka时,可以通过Kafka消费者配置来订阅对应的topic,例如:
订阅topicA来消费A库的数据:
类似地订阅topicB来消费B库的数据:
记录的元数据中通常不包含直接表示表名的信息,因此在消费时,您需要根据订阅的topic来区分数据来自哪个库的哪个表。如果在Flink CDC配置中添加了自定义的元数据信息,可以通过解析消息内容获取这些信息。重启、释放实例等操作可能导致业务中断,建议您提前做好数据备份,并在非业务高峰期时执行该操作
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657847
问题二:在Flink CDC中想 将 A库中的所有表 同步到 B库中 ,在route 这块怎么设置呢?
在Flink CDC中想 将 A库中的所有表 同步到 B库中 ,在route 这块怎么设置呢?
参考答案:
看下3.1的文档。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657835
问题三:在Flink CDC中现在读postgrep的表,还需要先发布该表吗?
在Flink CDC中现在读postgrep的表,还需要先发布该表吗?
参考答案:
请参考链接:https://debezium.io/documentation/reference/1.9/connectors/postgresql.html
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657834
问题四:在Flink CDC中同步数据到doris 中文乱码,如何解决?
在Flink CDC中同步数据到doris 中文乱码,如何解决?
参考答案:
Chinese characters in records ingested from MySQL are garbled.
Try to set env.java.opts: -Dfile.encoding=UTF-8 in flink-conf.yaml (the option is changed to env.java.opts.all since Flink-1.17).
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/657812
问题五:在Flink CDC中使用MySQL-MySQL同步 怎么使用视图作为源?
在Flink CDC中使用MySQL-MySQL同步 怎么使用视图作为源?
参考答案:
都mysql-mysql了直接加个从库slave就可以。
关于本问题的更多回答可点击进行查看: