问题一:Flink cdc-connector databaselist 这个是不是不支持正则啊?
Flink cdc-connector databaselist 这个是不是不支持正则啊?
但是我配置 好像不生效呢。。比如 我现在有一些库 aa_cc库 aa_bb库 我是不是应该设置 databaselist = aa.* 这样呢?
参考回答:
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/566169
问题二:flink cdc 哪位碰到过这种情况?
flink cdc 哪位碰到过这种情况?
参考回答:
这个错误看起来是Debezium的一个bug。它是在创建Oracle的schema change events时出现的。你可以尝试更新到Debezium的最新版本,看看是否可以解决问题。
另外,你也可以尝试在Flink SQL中显式地指定schema change event的生成方式。例如,你可以使用CREATE TABLE ... WITH ('connector.property.debezium.oracle.cdc.schema-evolution' = 'none')
来禁用schema change event的生成。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572209
问题三:Flink CDC那三天之前的数据是不是用doris的外表慢慢手动插入了?
Flink CDC中想全量同步mysql的一张表到doris,如果mysql binlog保存时间只有三天,那三天之前的数据是不是用doris的外表慢慢手动插入了?
参考回答:
默认走全增量,历史数据不走binlog
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572208
问题四:Flink CDC有谁用过jdbcSink 入MySQL 吗 ?
Flink CDC有谁用过jdbcSink 入MySQL 吗 兼容 更新和新增, 部分字段更新,每条记录的字段不固定 比如表有39个字段 ,更新的记录有时只来8个字段,有时只来10个字段 ?希望能做到批量处理
参考回答:
是的,Flink CDC 的 JDBC Sink 可以实现插入新行、更新现有行和删除行的操作。
然而,Flink CDC JDBC Sink 不支持字段更新的部分更新。这意味着如果记录中的字段数量不固定,则 JDBC Sink 将抛出异常。您可以在表中定义固定的字段数量,并将数据填充到该表中。
另一种方法是自定义 JDBC Sink,以适应字段数量不固定的场景。您可以编写定制的 JDBC Sink,以处理字段数量的变化,但这需要编程技巧和技术能力。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572207
问题五:FlinkCDC mysql在快照阶段,总是同步到一半就停止了,想问下有知道这是什么问题的吗?
FlinkCDC mysql在快照阶段,总是同步到一半就停止了,之后无论是快照还是binlog都不能继续读到,日志也没看到异常报错,想问下有知道这是什么问题的吗
参考回答:
这个问题可能是由于多个原因导致的。
首先,请检查您的MySQL服务器是否有足够的资源来处理FLink CDC的数据采集工作。如果资源不足,例如内存不足或者CPU过载,都可能导致同步过程中断。
其次,请确保您已经正确地配置了Flink CDC的相关参数。特别是关于snapshot和binlog的相关设置。
此外,如果在执行快照同步时遇到了长时间未解决的大事务等问题,则可能需要调整Flink CDC的超时策略。
最后,请尝试查看MySQL服务器的日志文件以查找错误消息或警告,这可能有助于确定问题的原因。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/572205