使用 Prometheus 为 Flink 搭建可观测体系

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 使用 Prometheus 为 Flink 搭建可观测体系

阿里云实时计算 Flink 版作为企业级高性能 Serverless 实时大数据处理系统,其引擎拥有 SQL 算子深度优化、大规模调度优化、高性能状态存储引擎等众多特性。在这背后是众多需要被观测的指标,保障作业正常运作,这给运维工程师、研发工程师带来了巨大挑战。那么,构建 Flink 作业之后,我们需要关注不同组成部分的哪些指标呢?

Flink 指标观测体系主要由 Overview、Checkpoint、CEP、IO、Watermark、JM 资源、TM 资源等不同指标部分组成,这些指标可以帮助我们判断 Source 当前的工作状况、Flink 当前的处理能力、数据在外部系统中的滞留情况等不同场景。

在使用实时计算 Flink 版的过程中,我们可以开启预集成的可观测监控 Prometheus 监控,自动完成指标上报与监控,无需以 Pushgatway 方式对现有 Flink 配置进行修改并自建相关监控平台。

一、在实时计算 Flink 控制台的概览页(https://realtime-compute.console.aliyun.com/?spm=5176.12818093.top-nav.4.352a16d0mMxcsw)
找到我们刚刚创建的试用工作空间,点击对应工作空间后面的「更多」,选择「监控指标配置」。跳转到可观测监控 Prometheus 版控制台。

1

二、跳转到可观测监控 Prometheus 版控制台后,点击左侧菜单的「大盘列表」。我们可以看到一共两个大盘,一个为 Flink 监控大盘,一个为Flink Session Cluster 监控大盘。点击「对应的大盘名称」如 Flink,即可查看对应大盘。

2

3

4

三、「如果后续不再使用 Flink 后,可以卸载 Prometheus 的对应实例」在 ARMS 控制台(https://arms.console.aliyun.com/?spm=5176.8140086.J_5253785160.6.73bdbe45OreHHp#/home)
在左侧菜单中选择「Prometheus 监控」-「Prometheus 实例列表」。在右侧选择对应的 Flink 实例,并点击「操作 - 卸载」,点击确认弹窗上的「确认」,完成对应 Prometheus for Flink 实例的卸载。

5

6


更多内容

img


活动推荐

阿里云基于 Apache Flink 构建的企业级产品-实时计算 Flink 版现开启活动:
0 元试用 实时计算 Flink 版(5000CU*小时,3 个月内)
了解活动详情:https://free.aliyun.com/?pipCode=sc

image.png

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
相关文章
|
2月前
|
存储 Prometheus 运维
【阿里云云原生专栏】云原生下的可观测性:阿里云 ARMS 与 Prometheus 集成实践
【5月更文挑战第25天】阿里云ARMS与Prometheus集成,为云原生环境的可观测性提供强大解决方案。通过集成,二者能提供全面精准的应用监控,统一管理及高效告警,助力运维人员及时应对异常。集成示例代码展示配置方式,但需注意数据准确性、监控规划等问题。这种集成将在云原生时代发挥关键作用,不断进化以优化用户体验,推动业务稳定发展。
159 0
|
2月前
|
Prometheus 资源调度 监控
在Flink on Yarn中,确实可以使用Prometheus的Pushgateway来获取监控指标
在Flink on Yarn中,确实可以使用Prometheus的Pushgateway来获取监控指标
137 2
|
9月前
|
存储 缓存 Prometheus
统一观测丨使用 Prometheus 监控 Memcached 最佳实践
统一观测丨使用 Prometheus 监控 Memcached 最佳实践
53876 8
|
10月前
|
SQL Prometheus 监控
统一观测丨使用 Prometheus 监控 SQL Server 最佳实践
统一观测丨使用 Prometheus 监控 SQL Server 最佳实践
|
12月前
|
存储 消息中间件 弹性计算
统一观测丨借助 Prometheus 监控 ClickHouse 数据库
统一观测丨借助 Prometheus 监控 ClickHouse 数据库
统一观测丨借助 Prometheus 监控 ClickHouse 数据库
|
存储 缓存 Prometheus
统一观测丨使用 Prometheus 监控 Cassandra 数据库最佳实践
统一观测丨使用 Prometheus 监控 Cassandra 数据库最佳实践
|
SQL 弹性计算 Prometheus
统一观测丨使用 Prometheus 监控 E-MapReduce,我们该关注哪些指标?
统一观测丨使用 Prometheus 监控 E-MapReduce,我们该关注哪些指标?
537 0
统一观测丨使用 Prometheus 监控 E-MapReduce,我们该关注哪些指标?
|
存储 Prometheus 运维
统一观测丨使用 Prometheus 监控云原生网关,我们该关注哪些指标?
MSE 云原生网关默认提供了丰富的 Metrics 指标大盘,配合阿里云 Prometheus 监控提供开箱即用的完整可观测性能力,能够帮助用户快捷、高效的搭建自身的微服务网关与对应的可观测体系。
统一观测丨使用 Prometheus 监控云原生网关,我们该关注哪些指标?
|
弹性计算 Prometheus 监控
《2021 阿里云可观测技术峰会演讲实录合辑(下)》——一、基于OPLG从0到1构建统一可观测平台实践——场景实践2:如何基于Prometheus和Grafana做统一的监控和告警
《2021 阿里云可观测技术峰会演讲实录合辑(下)》——一、基于OPLG从0到1构建统一可观测平台实践——场景实践2:如何基于Prometheus和Grafana做统一的监控和告警
243 0
|
存储 Prometheus 监控
统一观测丨使用 Prometheus 监控 Nginx Ingress 网关最佳实践
统一观测丨使用 Prometheus 监控 Nginx Ingress 网关最佳实践
统一观测丨使用 Prometheus 监控 Nginx Ingress 网关最佳实践

相关产品

  • 实时计算 Flink版