2023-03-23 10:42:12,542 INFO com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask [] - Exported 1562792 records for split 'table:3' after 00:08:55.857 2023-03-23 10:36:58,921 WARN org.apache.flink.shaded.zookeeper3.org.apache.zookeeper.ClientCnxn [] - Client session timed out, have not heard from server in 53905ms for sessionid 0x3106642b2a00078 com.ververica.cdc.connectors.mysql.debezium.task.MySqlSnapshotSplitReadTask这个方法怎么每次都要执行78分钟?导致zk超时。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
根据您提供的日志信息,任务MySqlSnapshotSplitReadTask
在导出1562792条记录后耗时约8分55秒(00:08:55.857),并且出现了ZooKeeper客户端会话超时的警告。这表明在执行MySQL数据快照读取任务期间,由于操作时间过长,导致与ZooKeeper的连接超时。以下是针对此问题的分析和建议:
MySqlSnapshotSplitReadTask
执行时间长达约78分钟,进而触发了ZooKeeper客户端会话超时。sessionTimeoutMs
参数,以适应更长的任务执行时间。例如,可以适当增加默认值,确保任务完成前不会因超时而中断。innodb_buffer_pool_size
等,以提升数据读取速度。通过上述措施,您可以尝试解决MySqlSnapshotSplitReadTask
执行时间过长导致的ZooKeeper超时问题,同时保持系统的稳定性和效率。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。