开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink CDC中我想用普罗米修斯prometheus对flink的任务做监控。针对flink批?

Flink CDC中我想用普罗米修斯prometheus对flink的任务做监控。针对flink批处理,遇到了一个问题,就是没有metrics能够反应。批处理无ck,没法从chekpoint入手。我想对可用性入手,但是发现,一旦批处理任务挂掉可用性指标(等等flink_jobmanager_job_failingState)就直接没了,根本抓不到,有大哥分享一下经验嘛?https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/ops/metrics/#availability![image.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_bd6d02fde28f48cc84f709dcf640ce69.png)
image.png

展开
收起
cuicuicuic 2023-08-02 09:11:14 149 0
1 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    在Flink中,批处理作业的可用性指标确实在作业失败时会消失,这给监控和诊断带来了一些挑战。然而,你可以通过以下方式来解决这个问题:

    使用作业管理器的日志:Flink作业管理器会记录作业的状态变化和故障信息。你可以通过监控作业管理器的日志来获取有关作业失败的信息,并进行相应的处理。

    自定义指标:除了Flink提供的内置指标之外,你可以编写自定义指标来监控作业的可用性。你可以使用Flink的Metric API在作业中注册自定义指标,并在作业执行过程中更新指标的值。例如,你可以在作业的开始和结束时更新指标,以反映作业的运行状态。

    2023-08-03 22:40:38
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载