Flink Cluster 常见问题之:Flink 应用的完整日志如何查看?
Flink 应用运行中的 JM/TM 日志可以在 WebUI 上查看,但是查问题时通常需 要结合完整日志来分析排查,因此就需要了解 YARN 的日志保存机制,YARN 上 Container 日志保存位置跟应用状态有关: 1. 如果应用还没有结束,Container 日志会一直保留在其运行所在的节点 上,即使 Container 已经运行完成仍然可以在所在节点的配置目录下找到: ${yarn.nodemanager.log-dirs}//, 也 可 以 直 接 从 WebUI 访 问:http:/// node/containerlogs// 2. 如果应用已结束并且集群启用了日志收集 (yarn.log-aggregation-enable=true),则通常应用结束后(也有配置可以增量上传)NM 会将其全 部日志上传至分布式存储(通常是 HDFS)并删除本地文件,我们可以通 过 yarn 命令 yarn logs -applicationId -appOwner 查看应用的全部日 志,还可以增加参数项 -containerId -nodeAddress 来查看某 container 的 日 志, 也 可 以 直 接 访 问 分 布 式 存 储 目 录:${yarn.nodemanager. remote-app-log-dir}/${user}/${yarn.nodemanager.remote-app-logdir-suffix}/
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。