开发者社区> 问答> 正文

Flink1.10 history server无法监控 FlinkSQL任务

Flink 1.10 on yarn per job提交方式,如果是java datastream 以及table api开发的应用,能够被jm正常拉取统计信息,但是sql化的job没有办法被历史服务器监控。 使用的sql不完全是官网的,但是是经过转化为datastream,以on yarn per job方式提交到yarn运行的,只是多了个sql解析动作。不能理解 ,为什么历史服务器没有加载job信息到hdfs上的目标目录。查看jobmanager日志以及configuration都能确定jm加载到了历史服务器的相关配置。*来自志愿者整理的flink

展开
收起
毛毛虫雨 2021-12-06 15:24:46 635 0
1 条回答
写回答
取消 提交回答
  • 1、是不是更改了刷新时间?一直不显示吗?

    2、running 的作业不会显示的,你可以之间在 yarn 查看,history server 应该是只提供展示挂掉的作业

    PS:另外提几个 history server 的问题

    1、挂掉的作业展示能否支持分页呢?目前直接在一个页面全部展示了历史所有的作业,打开会很卡

    2、有办法可以查看挂掉作业的 jm 和 tm 日志吗?因为 HDFS 其实是有日志,按道理是可以拿到日志信息然后解析展示出来的,Spark history server 也是可以查看挂掉作业的日志*来自志愿者整理的flink

    2021-12-06 15:59:12
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载