想监控 flink的job中的所有状态内容以及有效期情况,有啥办法呢么?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
可以在Flink Web UI中查看Job的状态,查看Job的运行时间,查看Job的checkpoint状态,以及查看Job的有效期情况。 还可以使用Flink的命令行工具,如flink list checkpoints,来查看当前存在的checkpoint,以及查看checkpoint的有效期情况。
Flink Metric内置的监控涵盖面丰富,支持: 1. 系统级别的监控:CPU状态信息、内存状态信息等(默认关闭,需要更改配置文件打开,且lib目录下需要添加相关依赖jar包) 2. JVM级别的监控:CPU占用率、堆内存使用情况、线程数量、GC已经类加载数量。 3. Flink job/Task/Operator级别的监控:checkPoint相关(耗时、大小、数量)、算子吞吐量、水位线。内置Connector监控,若使用FlinkKafkaConsumer,可以监控job消费kafka速度、offset的LAG值。这一级别的监控也支持自定义。
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。