问题一:Flink CDC这个有没有优化过的?
Flink CDC这个有没有优化过的?The connector is now using the maximum batch size 100000 when querying the LogMiner view. This could be indicative of large SCN gaps
参考答案:
是的,Flink CDC已经进行了一些优化。在查询LogMiner视图时,连接器现在使用的最大批量大小为100000。这可能表明SCN(系统更改编号)间隙较大。为了解决这个问题,Flink CDC引入了更高效的数据读取和处理机制,包括并行度调整、内存管理优化等。此外,Flink CDC还支持更多的配置选项,以便用户可以根据实际需求进行定制。总的来说,Flink CDC已经过多次迭代和优化,以提高其性能和可靠性。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577300
问题二:Flink CDC配置了几个CDC测试任务启动后,大概四五天的样子,TM就会宕机,有排查思路吗?
Flink CDC配置了几个CDC测试任务启动后,大概四五天的样子,TM就会宕机,TM日志也只能看到Caused by: org.apache.flink.runtime.jobmaster.JobMasterException: TaskManager with id localhost:45157-ab096b is no longer reachable.感觉没有什么有用的信息,有排查思路吗?和配置的资源大小有关吗,我这儿跑四五个任务,十几G的内存,应该不是资源问题吧
参考答案:
不知道是不是忽然并发太高
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577299
问题三:flink cdc 自定义反序列化器,获取的数据是这样的,这种应该怎么处理?
flink cdc 自定义反序列化器,获取的数据是这样的,这种应该怎么处理?
参考答案:
https://github.com/ververica/flink-cdc-connectors/wiki/FAQ(ZH)
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577298
问题四:Flink CDC增量同步的没问题跑一段时间就会有这个问题任务就挂了?
Flink CDC增量同步的没问题跑一段时间就会有这个问题任务就挂了?
参考答案:
Flink CDC任务在运行一段时间后突然挂掉,可能的原因包括:
- 数据库问题:例如,MySQL中的binlog没有正确打开,或者Oracle数据库存在性能瓶颈、存储空间不足等问题,都可能导致CDC任务无法正常读取增量数据。
- Flink任务问题:如果Flink CDC作业失败后不能彻底退出,而是重启,这可能会影响到增量数据的同步。
- 网络问题:如果Flink集群和数据库之间的网络连接存在问题,那么也可能会导致增量同步失败。请确保您的网络连接正常。
- 资源问题:如果任务运行时资源不足,可能会导致任务崩溃。您可以尝试增加任务的资源分配,如CPU、内存等。
- 配置问题:Flink CDC默认的同步策略是先进行全量同步,然后再进行增量读取。如果表的数据量比较大,那么在重写AbstractMessageListener#read方法时就需要特别注意处理大量数据的情况。
关于本问题的更多回答可点击进行查看:
https://developer.aliyun.com/ask/577294
问题五:Flink CDC功能不开启-- 指定数据库启用补充日志记录,可以吗?
Flink CDC功能不开启-- 指定数据库启用补充日志记录
ALTER DATABASE ADD SUPPLEMENTAL LOG DATA; 可以吗?
参考答案:
可以的,使用以下命令可以在指定数据库中启用补充日志记录:
ALTER DATABASE <database_name> ADD SUPPLEMENTAL LOG DATA;
请将 <database_name>
替换为实际的数据库名称。
关于本问题的更多回答可点击进行查看: