实战!配置DataDog监控Apache Hudi应用指标

简介: 实战!配置DataDog监控Apache Hudi应用指标

1. 可用性

在Hudi最新master分支,由Hudi活跃贡献者Raymond Xu贡献了DataDog监控Hudi应用指标,该功能将在0.6.0 版本发布,也感谢Raymond的投稿。

2. 简介

Datadog是一个流行的监控服务。在即将发布的Apache Hudi 0.6.0版本中,除已有的报告者类型(Graphite和JMX)之外,我们将引入通过Datadog HTTP API报告Hudi指标的功能。

3. 配置

类似于其他支持的报告者,启用Datadog报告者需要以下两个属性。

  1. hoodie.metrics.on=true
  2. hoodie.metrics.reporter.type=DATADOG

下面的属性用来配置Datdog API站点。它会决定请求被发送给 api.datadoghq.eu (EU) 还是 api.datadoghq.com (US)。根据你的Datadog账号作相应配置。

  1. hoodie.metrics.datadog.api.site=EU # 或者 US

hoodie.metrics.datadog.api.key可以让你配置API密匙。

  1. hoodie.metrics.datadog.api.key=<你的API密匙>
  2. hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>

出于安全性考虑,你可能会选择在运行时返回API密匙。要使用这个方法,需要实现 java.util.function.Supplier<String>。并把实现类的完整类名设置到 hoodie.metrics.datadog.api.key.supplier。由于 hoodie.metrics.datadog.api.key有更高的优先级,也要确保它没有设置。

下面的属性用来配置指标前缀,从而区分不同job的指标。

  1. hoodie.metrics.datadog.metric.prefix=<你的指标前缀>

注意这里 .会被用来隔离前缀和指标名。比如,如果前缀是 foo,则 foo.会被加在指标名称前。

其他的可选属性在配置参考页里有相关解释。

4. 示例演示

在这个示例中,我们运行了一个 HoodieDeltaStreamer,启用了指标收集并做了相应的配置。

如图所示,我们能收集到Hudi操作相关的指标,比如

  • <前缀>.<表名>.commit.totalScanTime
  • <前缀>.<表名>.clean.duration
  • <前缀>.<表名>.index.lookup.duration

以及 HoodieDeltaStreamer相关的指标。

  • <前缀>.<表名>.deltastreamer.duration
  • <前缀>.<表名>.deltastreamer.hiveSyncDuration

5. 总结

Hudi提供了多种报告者,方便监控Hudi应用运行时的各项指标,及时发现系统中的问题。

目录
相关文章
|
1月前
|
运维 Linux Apache
Linux Apache服务详解——Apache虚拟目录与禁止显示目录列表实战
Linux Apache服务详解——Apache虚拟目录与禁止显示目录列表实战
22 2
|
1月前
|
存储 Apache
Apache Hudi Savepoint实现分析
Apache Hudi Savepoint实现分析
34 0
|
1月前
|
运维 Linux Apache
LAMP架构调优(九)——Apache Rewrite功能实战
LAMP架构调优(九)——Apache Rewrite功能实战
13 1
|
1月前
|
XML Java Apache
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
152 0
|
1月前
|
存储 SQL 分布式计算
使用Amazon EMR和Apache Hudi在S3上插入,更新,删除数据
使用Amazon EMR和Apache Hudi在S3上插入,更新,删除数据
116 0
|
1月前
|
存储 分布式计算 Hadoop
一文了解Apache Hudi架构、工具和最佳实践
一文了解Apache Hudi架构、工具和最佳实践
103 0
|
1月前
|
SQL 分布式计算 NoSQL
使用Apache Hudi和Debezium构建健壮的CDC管道
使用Apache Hudi和Debezium构建健壮的CDC管道
17 0
|
1月前
|
存储 SQL 消息中间件
Apache Hudi:统一批和近实时分析的存储和服务
Apache Hudi:统一批和近实时分析的存储和服务
32 0
|
2月前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
482 5
|
1月前
|
消息中间件 API Apache
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽),关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
1416 1
官宣|阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会

热门文章

最新文章

推荐镜像

更多