开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

Flink这个监控在哪看呀?

Flink这个监控在哪看呀?1a6acfa2f4213a5df109b5bcb1385f32.png

展开
收起
三分钟热度的鱼 2023-12-13 17:57:38 86 0
9 条回答
写回答
取消 提交回答
  • 无所不能的蛋蛋

    Apache Flink 提供了控制台监控界面来查看作业运行时的各项指标,包括 Checkpoint 监控和反压监控。这些监控信息可以通过访问 Flink 的控制台来查看,在 Flink控制台界面上,您可以找到与 Checkpoint 相关的选项卡或标签页,
    image.png
    其中会显示作业的 checkpoint 信息,例如 checkpoint 的频率、状态、持续时间以及相关的元数据等。即使作业已经终止,这些统计信息通常仍然可以查看。

    2024-01-28 20:10:22
    赞同 1 展开评论 打赏
  • 从阿里云Flink官方文档中可以找到
    image.png
    Flink全托管支持通过监控指标(Metrics)来帮您分析作业数据是否正常,您可以直接在Flink控制台上进行指标查看,也可以选择将监控指标上报到其他渠道。也可以将指标仅上报至自建Prometheus、日志服务SLS或Kafka,也可以进行多渠道采集上报。

    2024-01-28 20:02:46
    赞同 1 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,看了你的描述,登录实时计算控制台,单击目标工作空间操作列下的控制台,在左侧导航栏上,选择作业运维。单击目标作业名称,单击状态总览页签。然后单击指标可以进入Grafana查看更多指标,包括Flink的常用指标。
    具体可以参考阿里云Flink官方文档:
    image.png

    注意:本回答参考阿里云Flink官方文档

    2024-01-27 15:15:33
    赞同 展开评论 打赏
  • 可以通过日志分析打印出的日志进行判断。
    微信截图_20231028103855.png

    2024-01-21 20:51:11
    赞同 展开评论 打赏
  • 1、登录实时计算控制台,单击目标工作空间操作列下的控制台。在左侧导航栏上,选择作业运维。单击目标作业名称,单击状态总览页签。

    单击指标可以进入Grafana查看更多指标,包括Flink的常用指标。
    image.png

    也可以选择将监控指标上报到其他渠道,在其他渠道查看。
    image.png
    image.png

    ——参考链接来源于阿里云官方文档

    2024-01-20 17:10:50
    赞同 1 展开评论 打赏
  • 在 Apache Flink 中,patternMatchedTimespatternMatchingAvgTime 以及 numLateRecordsDropped 这样的监控指标通常是针对带有 CEP(复杂事件处理)组件的任务而言的,并且它们不会直接显示在所有常规的 Flink 监控仪表板上。要查看这些特定的监控指标,你需要借助于 Flink 提供的监控和度量系统。

    通常有以下几种方式来查看这些指标:

    1. Flink Web UI:
      虽然标准的 Flink Web UI 不一定会直接展示这些 CEP 特有的指标,但如果你使用的是自定义或增强版的 Web UI,可能会有相应的插件或模块来展示这些指标。

    2. Metrics Reporting:
      Flink 支持多种 Metrics 报告系统,例如 Prometheus、Grafana 或者 JMX。你可以配置 Flink 将这些指标输出到上述系统中,然后通过对应的可视化工具查看。例如,在 Prometheus 或 Grafana 中创建自定义面板来展示这些指标。

    3. Metrics API:
      在代码中,可以通过 Flink 的 Metrics API 注册这些指标,并在运行时收集它们的值。之后可以通过 REST 接口或其他接口暴露给外部监控系统。

    4. 日志输出:
      有时也会选择定期将某些重要指标输出到日志文件中,以便进行离线分析。

    对于具体的配置和查看方法,需要查阅 Flink 文档了解如何开启和配置 Metrics 系统,以及如何添加或查询自定义的监控指标。例如,如果是使用 Flink 1.10+版本并且开启了metrics报告功能,你可以在接收到这些指标的监控系统中查找对应的关键字。

    2024-01-16 16:07:00
    赞同 展开评论 打赏
  • 某政企事业单位安全运维工程师,主要从事系统运维及网络安全工作,多次获得阿里云、华为云、腾讯云征文比赛一二等奖;CTF选手,白帽,全国交通行业网络安全大赛二等奖,全国数信杯数据安全大赛银奖,手握多张EDU、CNVD、CNNVD证书,欧盟网络安全名人堂提名,联合国网络安全名人堂提名

    一般来说,在Flink Web UI中可以查看到以下几种类型的监控指标:

    • Task执行时间:这包括Task启动时间和完成时间等参数;

    • Memory usage:内存占用情况,如堆内存储空间、溢出区大小等;

    • Network traffic:网络流量相关的信息,如输入输出字节数等;

    至于您的问题,关于patternMatchedTimes、patternMatchingAvgTime以及numLateRecordsDropped这三个指标的具体查看方式可能因不同的Flink版本而异。您可以尝试按照以下步骤操作:

    1. 打开Flink Web UI页面并登录账户;

    2. 在左侧导航栏中切换至“Monitoring”选项卡;

    3. 在右侧区域查找与上述三个指标相关的视图或表单;

    4. 如果找不到相应的视图,则说明该特定版本的Flink不支持此功能,此时您可以通过其他手段获取相关信息,例如查询日志文件或其他系统报告。

    请注意,以上描述仅适用于一般的Flink Web UI界面。

    2024-01-13 13:38:15
    赞同 展开评论 打赏
  • 北京阿里云ACE会长

    Flink 中的监控指标可以在 Flink Web UI 中查看。要访问 Flink Web UI,您需要启动 Flink 集群并确保 Flink Master 节点正在运行。然后,通过浏览器访问以下地址:

    http://:8081/

    在 Flink Web UI 中,您可以找到一个名为 "Metrics" 的选项卡,点击它以查看 Flink 集群的监控指标。以下是您提到的三个指标的简要说明:

    1. patternMatchedTimes:Pattern 匹配成功的次数。这个指标可以帮助您了解 Flink 中的规则匹配器成功匹配了多少次规则。
    2. patternMatchingAvgTime:Pattern 匹配的平均耗时。这个指标可以帮助您了解规则匹配器在匹配规则时的平均耗时,以便您评估匹配性能是否满足预期。
    3. numLateRecordsDropped:数据迟到累计丢弃数。这个指标可以帮助您了解由于数据迟到而导致的记录丢弃情况,以便您评估事件数据源的乱序程度以及 Watermark 策略是否合理。
    2024-01-12 21:19:46
    赞同 展开评论 打赏
  • 在Apache Flink中,patternMatchedTimespatternMatchingAvgTime 以及 numLateRecordsDropped 这些监控指标并不是标准的内置监控项,至少不是Flink Web UI中直接展示的常规监控指标。但是,基于Flink强大的CEP(Complex Event Processing)库,用户确实可以编写自己的CEP规则,并且可能会关心类似上述这样的监控指标。

    • patternMatchedTimes:如果你正在使用Flink的CEP库实现某种事件模式匹配,你可以自己记录每次模式成功匹配的次数,然后通过Flink Metric系统报告这个指标。

    • patternMatchingAvgTime:同样地,平均匹配耗时也需要你自己在实现CEP逻辑时计算并报告,Flink本身并不会自动提供这个精确的监控指标。

    • numLateRecordsDropped:这个指标则是Flink中与时间戳和水印(Watermark)处理相关的标准监控项之一,可以在Flink的Web UI中查看。在“checkpoint”或“metrics”标签页下的作业监控中,可以查看到与watermark相关的延迟记录丢弃统计信息。要获取这些自定义或非标准监控指标,你可能需要:

    1. 对于自定义的监控指标,需要利用Flink Metrics系统注册和收集相应的指标,并确保这些指标数据可以通过Metrics Reporter(如Prometheus、JMX、InfluxDB等)暴露出去,从而在监控系统中可视化。

    2. 对于numLateRecordsDropped,则可以直接在Flink Web UI中查看,或者通过对接Flink的Metrics API获取相关信息。

    以上三个指标可在部署的监控上查看
    image.png
    image.png
    image.png

    2024-01-12 16:20:18
    赞同 展开评论 打赏
滑动查看更多

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC Meetup PPT - 龚中强 立即下载
    Flink CDC Meetup PPT - 王赫 立即下载
    Flink CDC Meetup PPT - 覃立辉 立即下载