开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink Cluster 常见问题之:Flink 应用的完整日志如何查看?

Flink Cluster 常见问题之:Flink 应用的完整日志如何查看?

展开
收起
Lee_tianbai 2020-12-30 13:31:00 3145 0
1 条回答
写回答
取消 提交回答
  • Flink 应用运行中的 JM/TM 日志可以在 WebUI 上查看,但是查问题时通常需 要结合完整日志来分析排查,因此就需要了解 YARN 的日志保存机制,YARN 上 Container 日志保存位置跟应用状态有关: 1. 如果应用还没有结束,Container 日志会一直保留在其运行所在的节点 上,即使 Container 已经运行完成仍然可以在所在节点的配置目录下找到: ${yarn.nodemanager.log-dirs}//, 也 可 以 直 接 从 WebUI 访 问:http:/// node/containerlogs// 2. 如果应用已结束并且集群启用了日志收集 (yarn.log-aggregation-enable=true),则通常应用结束后(也有配置可以增量上传)NM 会将其全 部日志上传至分布式存储(通常是 HDFS)并删除本地文件,我们可以通 过 yarn 命令 yarn logs -applicationId -appOwner 查看应用的全部日 志,还可以增加参数项 -containerId -nodeAddress 来查看某 container 的 日 志, 也 可 以 直 接 访 问 分 布 式 存 储 目 录:${yarn.nodemanager. remote-app-log-dir}/${user}/${yarn.nodemanager.remote-app-logdir-suffix}/

    2020-12-30 13:31:24
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载