开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flink on yarn的任务监控一般是怎样做的呢?

flink on yarn的任务监控一般是怎样做的呢?

展开
收起
JWRRR 2023-04-03 15:10:12 378 0
2 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    日志监控是指收集和分析Flink任务运行时产生的日志信息,以便于发现和定位问题。一种常用的日志监控方案是利用log4j或log4j2将日志直接发送到kafka,然后通过其他工具(如ELK、Elasticsearch、Kibana等)进行检索和展示。这种方案的优点是简单、实时、可扩展,缺点是需要额外的组件和配置。

    指标监控是指收集和分析Flink任务运行时产生的各种指标(如吞吐量、延迟、内存使用率等),以便于评估和优化任务的性能和资源利用率。一种常用的指标监控方案是利用Prometheus和Grafana进行数据采集和可视化展示。这种方案的优点是功能强大、易于集成、支持告警,缺点是需要安装和维护Prometheus和Grafana服务。

    2023-04-23 23:20:04
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    你好,最方便地方式是通过Flink Web UI监控,可以用来监控Flink作业和任务的状态。

    2023-04-03 16:24:36
    赞同 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关产品

  • 实时计算 Flink版
  • 相关电子书

    更多
    深度学习+大数据 TensorFlow on Yarn 立即下载
    Docker on Yarn 微服务实践 立即下载
    深度学习+大数据-TensorFlow on Yarn 立即下载