实战| 配置DataDog监控Apache Hudi应用指标

简介:

实战| 配置DataDog监控Apache Hudi应用指标

  1. 可用性
    在Hudi最新master分支,由Hudi活跃贡献者Raymond Xu贡献了DataDog监控Hudi应用指标,该功能将在0.6.0 版本发布,也感谢Raymond的投稿。
  2. 简介
    Datadog是一个流行的监控服务。在即将发布的Apache Hudi 0.6.0版本中,除已有的报告者类型(Graphite和JMX)之外,我们将引入通过Datadog HTTP API报告Hudi指标的功能。
  3. 配置
    类似于其他支持的报告者,启用Datadog报告者需要以下两个属性。

hoodie.metrics.on=true
hoodie.metrics.reporter.type=DATADOG
下面的属性用来配置Datdog API站点。它会决定请求被发送给api.datadoghq.eu (EU) 还是 api.datadoghq.com (US)。根据你的Datadog账号作相应配置。

hoodie.metrics.datadog.api.site=EU # 或者 US
hoodie.metrics.datadog.api.key可以让你配置API密匙。

hoodie.metrics.datadog.api.key=<你的API密匙>
hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>
出于安全性考虑,你可能会选择在运行时返回API密匙。要使用这个方法,需要实现java.util.function.Supplier。并把实现类的完整类名设置到hoodie.metrics.datadog.api.key.supplier。由于hoodie.metrics.datadog.api.key有更高的优先级,也要确保它没有设置。

下面的属性用来配置指标前缀,从而区分不同job的指标。

hoodie.metrics.datadog.metric.prefix=<你的指标前缀>
注意这里.会被用来隔离前缀和指标名。比如,如果前缀是foo,则foo.会被加在指标名称前。

其他的可选属性在配置参考页里有相关解释。

  1. 示例演示
    在这个示例中,我们运行了一个HoodieDeltaStreamer,启用了指标收集并做了相应的配置。

如图所示,我们能收集到Hudi操作相关的指标,比如

<前缀>.<表名>.commit.totalScanTime
<前缀>.<表名>.clean.duration
<前缀>.<表名>.index.lookup.duration
以及HoodieDeltaStreamer相关的指标。

<前缀>.<表名>.deltastreamer.duration
<前缀>.<表名>.deltastreamer.hiveSyncDuration
. 总结
Hudi提供了多种报告者,方便监控Hudi应用运行时的各项指标,及时发现系统中的问题。

PS:如果您觉得阅读本文对您有帮助,请点一下“推荐”按钮,您的“推荐”,将会是我不竭的动力!
作者:leesf    掌控之中,才会成功;掌控之外,注定失败。
出处:http://www.cnblogs.com/leesf456/

相关文章
|
2月前
|
Linux 网络安全 Apache
CentOS 7.2配置Apache服务httpd(上)
CentOS 7.2配置Apache服务httpd(上)
260 1
|
2月前
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
43 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
2月前
|
缓存 前端开发 应用服务中间件
CORS跨域+Nginx配置、Apache配置
CORS跨域+Nginx配置、Apache配置
196 7
|
2月前
|
消息中间件 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
42 2
|
2月前
|
存储 消息中间件 druid
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
88 1
|
2月前
apache+tomcat配置多站点集群的方法
apache+tomcat配置多站点集群的方法
37 4
|
2月前
|
负载均衡 应用服务中间件 Apache
Tomcat负载均衡原理详解及配置Apache2.2.22+Tomcat7
Tomcat负载均衡原理详解及配置Apache2.2.22+Tomcat7
46 3
|
2月前
|
Linux PHP Apache
CentOS 7.2配置Apache服务httpd(下)
CentOS 7.2配置Apache服务httpd(下)
52 1
|
2月前
|
存储 Apache 开发工具
apache的主要目录结构及常见的配置选项的详细说明(图例展示)
apache的主要目录结构及常见的配置选项的详细说明(图例展示)
|
4月前
|
监控 Linux 测试技术

推荐镜像

更多