Flink CDC每隔一段时间就会报 lost leadership 看日志 有akka超时?
在使用 Flink CDC 时,可能出现一些异常情况,例如lost leadership。
发生此类情况的原因可能有如下几种:
为了更好地解决问题,请按照官方文档中的建议,调整以下设置:
Flink CDC每隔一段时间报告lost leadership的问题可能与akka超时有关。Akka超时是一种常见的问题,可能会导致TaskManager进程挂掉、任务长时间处于CANCELING状态或Checkpoint超时等问题。
为了解决这个问题,您可以尝试以下方法:
调整集群的akka超时间配置。在conf/flink-conf.yaml
文件中增加以下参数:akka.ask.timeout: 100 s
。观察Job Manager Configuration,确保配置参数已经生效。
如果上述方法不起作用,您还可以考虑调整Flink Checkpoint的相关参数。例如,降低Source的并发度、拉取频率和拉取量;提高checkpoint发送频率;增加同时能够进行的checkpoint数量等。
检查Flink和MySQL之间的网络连接是否稳定。如果网络不稳定,可以考虑优化MySQL的配置以减少负载,提高binlog同步和查询效率,或者增大Flink task管理器的并发数来加快执行速度。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。