http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20201105165123.jpg http://apache-flink.147419.n8.nabble.com/file/t538/QQ%E6%88%AA%E5%9B%BE20201105165200.jpg chk的历史如图,第三个subtask未能ack,同时在TM中只能找到如下信息:
2020-11-05 13:13:38,101 INFO org.apache.flink.streaming.api.functions.sink.filesystem.Buckets [] - Subtask 2 checkpointing for checkpoint with id=16 (max part counter=6). 2020-11-05 13:13:38,143 INFO org.apache.flink.streaming.api.functions.sink.filesystem.Buckets [] - Subtask 1 checkpointing for checkpoint with id=16 (max part counter=0). 2020-11-05 13:14:37,779 WARN org.apache.kafka.clients.NetworkClient [] - Connection to node -3 could not be established. Broker may not be available. 2020-11-05 13:14:37,786 WARN org.apache.kafka.clients.NetworkClient [] - Connection to node -2 could not be established. Broker may not be available. 2020-11-05 13:33:38,115 INFO org.apache.flink.runtime.taskmanager.Task [] - Attempting to cancel task Source: Custom Source -> Process -> (Sink: ***, Sink: *** sink, Sink: ***) (3/3) (68bfa6305a9aa5a7381b9ca4a8fef2fa).
请路过的大佬们指点下排查方式,多谢(当前日志级别暂无法改成debug)*来自志愿者整理的flink邮件归档
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
根据您提供的信息,Flink作业在进行checkpoint时遇到了问题,特别是第三个subtask未能ack(确认)。同时,日志中显示与Kafka broker的连接无法建立。这可能是导致checkpoint失败的原因之一。尽管当前日志级别不能调整为DEBUG以获取更详细的信息,但您可以尝试以下几个方向来排查问题:
检查Kafka集群状态:
kafka-topics.sh
和kafka-consumer-groups.sh
等检查topic的状态和消费者组的偏移量情况。检查网络连通性:
Flink配置检查:
资源与负载:
查看其他相关日志:
Flink Checkpoint配置:
尝试重启作业:
如果以上步骤都无法解决问题,考虑加入Flink社区论坛或邮件列表寻求更多帮助,提供尽可能多的作业配置和环境信息,以便获得更专业的指导。您可以复制页面截图提供更多信息,我可以进一步帮您分析问题原因。