问题一:Flink CDC 里这个配置参数有文档吗?哪里有全部的配置参数可以查到?
Flink CDC 里这个配置参数有文档吗?哪里有全部的配置参数可以查到? https://github.com/apache/flink-cdc
参考答案:
pipeline连接器里面。
是这个吧。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605893
问题二:Flink CDC 里有一个表cdc同步的,今天少同步了几条数据,请问如何定位问题?
Flink CDC 里有一个表cdc同步的,今天少同步了几条数据,请问如何定位问题, 日志记录的都是统计数据。我看任务是正常的。
参考答案:
检查源端数据库:
确认源数据库中的CDC日志是否包含了缺失的数据。有可能是源端没有正确捕获到这些变更,或者变更发生时CDC功能未生效。
查看源端CDC状态:
如果使用的是Debezium等工具作为源端CDC,检查Debezium的日志以确保所有相关的表更改事件都被成功捕获和发送给Flink CDC。
比较源端与目标端:
在源端和目标端分别执行SQL查询,对比特定时间范围内的数据行数,确认具体差异出现在哪些时间段或哪些特定的事务。
分析Flink CDC任务详情:
尽管日志显示任务整体运行正常,但应进一步查看更详细的日志记录,特别是错误、警告信息以及checkpoint和状态备份的相关内容。
检查是否存在checkpoint过程中丢弃的中间结果,这可能是因为checkpoint期间恰好有少量数据未能及时处理并写入目标库。
排查网络延迟和故障:
考虑到网络因素,如果网络不稳定或存在短暂中断,可能会导致部分变更事件丢失。
检查Flink Sink配置:
检视Flink CDC任务中Sink端的配置,如JDBC Sink的重试策略、缓冲大小等,确保它们足以应对可能出现的问题,并且设置合理。
若sink支持事务,则查看事务提交和回滚情况,可能存在事务提交失败但未触发重试的情况。
数据验证和审计:
在目标数据库启用审计日志,可以跟踪到插入操作的时间点和具体内容,从而找出是否有遗漏的插入动作。
测试阶段数据比对:
在生产环境之外创建一个测试环境,模拟同样的数据同步流程,并对源数据和目标数据做精确的比对,来复现和定位问题。
监控和报警:
安装和配置监控系统,以便在出现数据不一致时立即收到报警,这样可以在问题发生时迅速响应,收集当时的详细信息。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605890
问题三:Flink CDC 里 cdc和flink都用的哪个版本呀?
Flink CDC 里 cdc和flink都用的哪个版本呀?
参考答案:
Flink CDC支持Apache Flink 1.18版本,如果你使用的是Flink CDC 3.0,那么可以搭配Apache Flink 1.18.x系列版本进行实时数据捕获和处理。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605889
问题四:在使用 Flink CDC 从 Kafka 读取数据,怎么操作广播?
在使用 Flink CDC 从 Kafka 读取数据,并与两个仅在任务启动时读取一次的维度表进行内连接(inner join)时,如果没有匹配到的数据会被直接丢弃还是会被存储在内存中?我遇到的情况是 Flink 的内存占用不断增加,最终导致内存溢出和 TaskManager 崩溃。此外,我不太清楚广播(broadcast)的具体操作,因为我遇到了一些相关的问题,尽管我的维度表数据量很小(只有几十条),但 Kafka 上的数据量很大。
参考答案:
维表数据异步内存管理。可以研究下这个算子 withBroadcastSet。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/605887
问题五:flinkcdc3.0整库同步mysql的数据到starrocks中 全量能过去增量过不去怎么排查?
flinkcdc3.0整库同步mysql的数据到starrocks中 全量能过去增量过不去怎么排查?
参考答案:
这种情况,看下sr的stream load导入任务。
关于本问题的更多回答可点击进行查看: