问题一:Flink CDC中sqlserver--->sqlserver。反压严重,大家有啥好办法不?
Flink CDC中sqlserver--->sqlserver。反压严重,大家有啥好办法不?
参考答案:
控制source 的读的速度,控制读取大小。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577469
问题二:Flink CDC有rocketmq的连接器吗?
Flink CDC有rocketmq的连接器吗?
参考答案:
ververica-connector-mq
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577467
问题三:Flink CDC中mysql cdc 抽取这个时间字段的值为null 有什么好的解决方案吗 ?
Flink CDC中mysql cdc 抽取这个时间字段的值为null 有什么好的解决方案吗 ?
参考答案:
建flink的cdc表的时候字段改为string
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577466
问题四:请问 Flink CDC是不支持Oracle中文表名列名的同步吗?
在使用Flink CDC 同步Oracle的时候,由于Oracle表名和列名是中文,报错如下:”Caused by: io.debezium.DebeziumException: com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.ConnectException: The Kafka Connect schema name 'oracle_logminer.hub.结算记录.Value' is not a valid Avro schema name and its replacement 'oracle_logminer.ZLHIS.__.Value' conflicts with another different schema 'oracle_logminer.hub.费用记录.Value'
at io.debezium.relational.RelationalSnapshotChangeEventSource.lambda$createSchemaChangeEventsForTables$2(RelationalSnapshotChangeEventSource.java:277)
at io.debezium.pipeline.EventDispatcher.dispatchSchemaChangeEvent(EventDispatcher.java:297)
at io.debezium.relational.RelationalSnapshotChangeEventSource.createSchemaChangeEventsForTables(RelationalSnapshotChangeEventSource.java:272)
at io.debezium.relational.RelationalSnapshotChangeEventSource.doExecute(RelationalSnapshotChangeEventSource.java:125)
at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:69)
... 6 more
Caused by: com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.ConnectException: The Kafka Connect schema name 'oracle_logminer.hub.结算记录.Value' is not a valid Avro schema name and its replacement 'oracle_logminer.ZLHIS.__.Value' conflicts with another different schema 'oracle_logminer.hub.费用记录.Value'
at io.debezium.util.SchemaNameAdjuster.lambda$create$0(SchemaNameAdjuster.java:151)
at io.debezium.util.SchemaNameAdjuster.lambda$create$1(SchemaNameAdjuster.java:168)
at io.debezium.util.SchemaNameAdjuster$ReplacementOccurred.lambda$firstTimeOnly$0(SchemaNameAdjuster.java:103)
at io.debezium.util.SchemaNameAdjuster.validFullname(SchemaNameAdjuster.java:331)
at io.debezium.util.SchemaNameAdjuster.lambda$create$5(SchemaNameAdjuster.java:201)
at io.debezium.relational.TableSchemaBuilder.create(TableSchemaBuilder.java:104)
at io.debezium.relational.RelationalDatabaseSchema.buildAndRegisterSchema(RelationalDatabaseSchema.java:130)
at io.debezium.c”请问 Flink CDC是不支持Oracle中文表名列名的同步吗?
参考答案:
是的,Flink CDC不支持Oracle中文表名列名的同步。在处理Oracle数据库时,如果表名或列名包含非ASCII字符(如中文),可能会导致Kafka Connect抛出异常。为了解决这个问题,可以尝试以下方法:
- 将Oracle表名和列名转换为ASCII字符。可以使用Python或其他编程语言编写脚本来实现这一点。
- 修改Flink CDC的配置,允许使用非ASCII字符作为表名和列名。这可能需要修改Debezium Connector的源代码或配置文件。
- 使用其他支持Oracle中文表名和列名的CDC工具,如Apache NiFi、Talend等。这些工具可能已经解决了这个问题,或者提供了相应的解决方案。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577465
问题五:Flink CDC如果b为空的时候 哪怕a有数据也查询不到?
Flink CDC如果b为空的时候 哪怕a有数据也查询不到?a left join b on b.status=2
参考答案:
where条件里字段的null值是不参与计算的吧 ,此回答整理自钉群“Flink CDC 社区”
关于本问题的更多回答可点击进行查看: