开发者社区> 问答> 正文

Flink-Metrics中的System Metrics具体是什么啊?

Flink-Metrics中的System Metrics具体是什么啊?

展开
收起
游客vwuxaq6iqaowc 2021-12-09 13:44:37 365 0
1 条回答
写回答
取消 提交回答
  • System Metrics,将整个集群的状态已经涵盖得非常详细。具体包括以下方面:

    Master 级别和 Work 级别的 JVM 参数,如 load 和 time;其 Memory 划分也很详细,包括 heap 的使用情况,non-heap 的使用情况,direct 的使用情况,以及 mapped 的使用情况;Threads 可以看到具体有多少线程;还有非常实用的 Garbage Collection。 Network 使用比较广泛,当需要解决一些性能问题的时候,Network 非常实用。Flink 不只是网络传输,还是一个有向无环图的结构,可以看到它的每个上下游都是一种简单的生产者消费者模型。Flink 通过网络相当于标准的生产者和消费者中间通过有限长度的队列模型。如果想要评估定位性能,中间队列会迅速缩小问题的范围,能够很快的找到问题瓶颈。 •CPU •Memory •Threads •Garbage Collection •Network •Classloader •Cluster •Availability •Checkpointing •StateBackend •IO •详见: https://ci.apache.org/projects/flink/flink-docs-release-1.8/monitoring/metrics.html#system-metrics 运维集群的人会比较关心 Cluster 的相关信息,如果作业太大,则需要非常关注 Checkpointing,它有可能会在一些常规的指标上无法体现出潜在问题。比如 Checkpointing 长时间没有工作,数据流看起来没有延迟,此时可能会出现作业一切正常的假象。另外,如果进行了一轮 failover 重启之后,因为 Checkpointing 长时间没有工作,有可能会回滚到很长一段时间之前的状态,整个作业可能就直接废掉了。 RocksDB 是生产环境当中比较常用的 state backend 实现,如果数据量足够大,就需要多关注 RocksDB 的 Metrics,因为它随着数据量的增大,性能可能会下降。

    2021-12-09 13:45:17
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 龚中强 立即下载
Flink CDC Meetup PPT - 王赫 立即下载
Flink CDC Meetup PPT - 覃立辉 立即下载