Flink CDC进行多表的数据全量+增量同步，报错日志如下？

Flink CDC进行多表的数据全量+增量同步，测试发现表数量为23个时还能正常运行（有部分任务失败会自动重启成功），在往上（比如24，25，26张表）就不能成功了（有部分任务失败且自动重启也不成功）。报错日志如下。我提交任务的运行语句如下.：
./bin/flink run-application --target kubernetes-application -Dkubernetes.cluster-id=cluster231122ba -Dtaskmanager.network.memory.buffer-debloat.enabled=true -Dtaskmanager.network.memory.buffer-debloat.target=3s -Dtaskmanager.memory.process.size=7000m -Dtaskmanager.numberOfTaskSlots=1 -Dkubernetes.container.image.ref=swr.cn-north-4.myhuaweicloud.com/commons/toll_pro_02:1.17.1 -Dkubernetes.container.image.pull-secrets=regcred3 -Dkubernetes.namespace=flink -Dkubernetes.jobmanager.service-account=flink-service-account -Dkubernetes.rest-service.exposed.type=NodePort --pyModule ls_card_blacklist_28 --pyFiles /opt/python_codes/ls_card_blacklist_32.py？

展开

收起

cuicuicuic 2023-12-10 20:33:00 33 0

1 条回答

写回答

取消提交回答

小周sir

面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。
从报错日志来看，问题可能出在任务数量过多导致的资源不足。当表的数量达到24、25、26张时，任务失败且自动重启也不成功。为了解决这个问题，你可以尝试以下方法：
1. 增加Flink集群的资源，例如增加TaskManager的数量或者提高每个TaskManager的内存和CPU资源。
2. 优化你的Flink CDC程序，减少任务数量。例如，你可以将多个表的数据合并到一个任务中进行同步，以减少任务数量。
3. 调整Flink CDC的配置参数，例如增加taskmanager.numberOfTaskSlots的值，以便为更多的任务分配资源。
4. 检查你的数据库连接配置，确保可以正常连接到所有需要同步的表。
2023-12-11 17:03:58

赞同展开评论打赏