实战| 配置DataDog监控Apache Hudi应用指标-阿里云开发者社区

开发者社区> 优惠码优惠> 正文

实战| 配置DataDog监控Apache Hudi应用指标

简介:
+关注继续查看

实战| 配置DataDog监控Apache Hudi应用指标

  1. 可用性
    在Hudi最新master分支,由Hudi活跃贡献者Raymond Xu贡献了DataDog监控Hudi应用指标,该功能将在0.6.0 版本发布,也感谢Raymond的投稿。
  2. 简介
    Datadog是一个流行的监控服务。在即将发布的Apache Hudi 0.6.0版本中,除已有的报告者类型(Graphite和JMX)之外,我们将引入通过Datadog HTTP API报告Hudi指标的功能。
  3. 配置
    类似于其他支持的报告者,启用Datadog报告者需要以下两个属性。

hoodie.metrics.on=true
hoodie.metrics.reporter.type=DATADOG
下面的属性用来配置Datdog API站点。它会决定请求被发送给api.datadoghq.eu (EU) 还是 api.datadoghq.com (US)。根据你的Datadog账号作相应配置。

hoodie.metrics.datadog.api.site=EU # 或者 US
hoodie.metrics.datadog.api.key可以让你配置API密匙。

hoodie.metrics.datadog.api.key=<你的API密匙>
hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>
出于安全性考虑,你可能会选择在运行时返回API密匙。要使用这个方法,需要实现java.util.function.Supplier。并把实现类的完整类名设置到hoodie.metrics.datadog.api.key.supplier。由于hoodie.metrics.datadog.api.key有更高的优先级,也要确保它没有设置。

下面的属性用来配置指标前缀,从而区分不同job的指标。

hoodie.metrics.datadog.metric.prefix=<你的指标前缀>
注意这里.会被用来隔离前缀和指标名。比如,如果前缀是foo,则foo.会被加在指标名称前。

其他的可选属性在配置参考页里有相关解释。

  1. 示例演示
    在这个示例中,我们运行了一个HoodieDeltaStreamer,启用了指标收集并做了相应的配置。

如图所示,我们能收集到Hudi操作相关的指标,比如

<前缀>.<表名>.commit.totalScanTime
<前缀>.<表名>.clean.duration
<前缀>.<表名>.index.lookup.duration
以及HoodieDeltaStreamer相关的指标。

<前缀>.<表名>.deltastreamer.duration
<前缀>.<表名>.deltastreamer.hiveSyncDuration
. 总结
Hudi提供了多种报告者,方便监控Hudi应用运行时的各项指标,及时发现系统中的问题。

PS:如果您觉得阅读本文对您有帮助,请点一下“推荐”按钮,您的“推荐”,将会是我不竭的动力!
作者:leesf    掌控之中,才会成功;掌控之外,注定失败。
出处:http://www.cnblogs.com/leesf456/

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【译】Databricks使用Spark Streaming和Delta Lake对流式数据进行数据质量监控介绍
本文主要对Databricks如何使用Spark Streaming和Delta Lake对流式数据进行数据质量监控的方法和架构进行了介绍,本文探讨了一种数据管理架构,该架构可以在数据到达时,通过主动监控和分析来检测流式数据中损坏或不良的数据,并且不会造成瓶颈。
1183 0
Java Spring Boot 2.0性能监控实战与Actuator机制解析
Java Spring Boot 2.0 性能监控 实战与 Actuator 机制解析: 内容摘要:应用程序性能监控和日志采集管理是非常重要问题,Java Spring Boot网站、API等应用程序如何进行远程性能监控、日志采集,远程控制,本次课程一起深入学习Actuator新特性与API机制。
3725 0
Centos7下Docker上部署webgoat(用来演示Web应用程序中的典型安全漏洞的应用程序)
Centos7下Docker上部署webgoat(用来演示Web应用程序中的典型安全漏洞的应用程序)
653 0
设计模式之动态代理模式实战
昨天分享了静态代理的概念及存在的缺点,所以今天讲的动态代理模式十分重要。动态代理在我们工作当中应用相当广泛,如Srping AOP就是动态代理的在开源框架的比较出名的应用。
769 0
SpringBoot实战(九)之Validator
表单验证,是最为常见的,今天演示的是利用hibernate-validtor进行校验,有的时候,虽然前端方面通过jQuery或者require.js校验框架进行校验,可以减轻服务器的压力和改善用户体验,但是比如第三方请求接口方面也需要校验,在Controller里面套着一大堆if-elseif-else等等,两层嵌套还好,三层或者三层以上就不好了,日子久了继续嵌套,就会导致后面变得难以维护。
936 0
+关注
优惠码优惠
阿里云优惠码阿里云推荐券bieryun.com
203
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载