Flink CDC中我想用普罗米修斯prometheus对flink的任务做监控。针对flink批？
Flink CDC中我想用普罗米修斯prometheus对flink的任务做监控。针对flink批处理，遇到了一个问题，就是没有metrics能够反应。批处理无ck，没法从chekpoint入手。我想对可用性入手，但是发现，一旦批处理任务挂掉可用性指标(等等flink_jobmanager_job_failingState)就直接没了，根本抓不到，有大哥分享一下经验嘛？https://nightlies.apache.org/flink/flink-docs-release-1.16/docs/ops/metrics/#availability
写回答
-
北京阿里云ACE会长在Flink中，批处理作业的可用性指标确实在作业失败时会消失，这给监控和诊断带来了一些挑战。然而，你可以通过以下方式来解决这个问题：
使用作业管理器的日志：Flink作业管理器会记录作业的状态变化和故障信息。你可以通过监控作业管理器的日志来获取有关作业失败的信息，并进行相应的处理。
自定义指标：除了Flink提供的内置指标之外，你可以编写自定义指标来监控作业的可用性。你可以使用Flink的Metric API在作业中注册自定义指标，并在作业执行过程中更新指标的值。例如，你可以在作业的开始和结束时更新指标，以反映作业的运行状态。
2023-08-03 22:40:38赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。
热门讨论
热门文章
相关文章
相关电子书
更多
