问题一:Flink CDC有什么使用上要注意的地方吗?
Flink CDC有什么使用上要注意的地方吗?我之前目标表初始创建都是自己的逻辑做的 想用下flinkcdc的
参考答案:
需要用pipeline引擎,自动建表,目前支持doris和starrock
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579914
问题二:Flink CDC DataStream支持 中文表名吗?
Flink CDC DataStream支持 中文表名吗?Caused by: io.debezium.DebeziumException: com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.ConnectException: The Kafka Connect schema name 'oracle_logminer.hub.结算记录.Value' is not a valid Avro schema name and its replacement 'oracle_logminer.ZLHIS.__.Value' conflicts with another different schema 'oracle_logminer.hub.费用记录.Value'
at io.debezium.relational.RelationalSnapshotChangeEventSource.lambda$createSchemaChangeEventsForTables$2(RelationalSnapshotChangeEventSource.java:277)
at io.debezium.pipeline.EventDispatcher.dispatchSchemaChangeEvent(EventDispatcher.java:297)
at io.debezium.relational.RelationalSnapshotChangeEventSource.createSchemaChangeEventsForTables(RelationalSnapshotChangeEventSource.java:272)
at io.debezium.relational.RelationalSnapshotChangeEventSource.doExecute(RelationalSnapshotChangeEventSource.java:125)
at io.debezium.pipeline.source.AbstractSnapshotChangeEventSource.execute(AbstractSnapshotChangeEventSource.java:69)
... 6 more
Caused by: com.ververica.cdc.connectors.shaded.org.apache.kafka.connect.errors.ConnectException: The Kafka Connect schema name 'oracle_logminer.hub.结算记录.Value' is not a valid Avro schema name and its replacement 'oracle_logminer.ZLHIS.__.Value' conflicts with another different schema 'oracle_logminer.hub.费用记录.Value'好像不支持
参考答案:
是的,Flink CDC DataStream 不支持中文表名。在 Kafka Connect 中,Avro schema 名称必须是有效的 ASCII 字符,因此不支持使用中文字符作为表名。如果需要支持中文表名,可以考虑将表名转换为其他符合 Avro schema 名称规范的字符串。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579912
问题三:Flink CDC 出现null值的情况,请问下null值怎么过滤掉,在进入kafka前?
Flink CDC 用where条件过滤 写入 upsert-kafka 后,出现null值的情况,请问下null值怎么过滤掉,在进入kafka前?
参考答案:
别在抽取同步过程中 整逻辑进去,这种交给计算层 处理好了。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579911
问题四:Flink CDC中mysql cdc 到doris 还不能支持字段名修改吗?
Flink CDC中mysql cdc 到doris 还不能支持字段名修改吗?
参考答案:
你这是用 doris-flink-connector 项目的同步功能吧,CDC3.0 是可以的。参考这个 https://ververica.github.io/flink-cdc-connectors/master/content/%E5%BF%AB%E9%80%9F%E4%B8%8A%E6%89%8B/mysql-doris-pipeline-tutorial-zh.html
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/579909
问题五:Flink CDC有没有好用的flink部署与管理工具?
Flink CDC有没有好用的flink部署与管理工具?
参考答案:
对于Flink CDC的部署和管理,确实有一些工具可以提供帮助。一种选择是使用Docker进行安装和配置,这种方式可以帮助开发者在一个隔离的环境中进行测试和调试。另一种选择是在实际的分布式环境中进行安装,例如在云平台上,如腾讯云或阿里云。
在实践中,我们也可以通过编写Flink作业代码来定义和管理CDC源的连接和读取操作。此外,还有一些基于Flink SQL CDC的数据同步方案实践可以参考。
总的来说,选择哪种部署和管理工具取决于你的具体需求和环境。无论选择哪种方式,都需要对Flink CDC有一定的了解,包括其原理、特性以及如何配置和使用等。
关于本问题的更多回答可点击进行查看: