实战!配置DataDog监控Apache Hudi应用指标

简介: 实战!配置DataDog监控Apache Hudi应用指标

1. 可用性

在Hudi最新master分支,由Hudi活跃贡献者Raymond Xu贡献了DataDog监控Hudi应用指标,该功能将在0.6.0 版本发布,也感谢Raymond的投稿。

2. 简介

Datadog是一个流行的监控服务。在即将发布的Apache Hudi 0.6.0版本中,除已有的报告者类型(Graphite和JMX)之外,我们将引入通过Datadog HTTP API报告Hudi指标的功能。

3. 配置

类似于其他支持的报告者,启用Datadog报告者需要以下两个属性。

  1. hoodie.metrics.on=true
  2. hoodie.metrics.reporter.type=DATADOG

下面的属性用来配置Datdog API站点。它会决定请求被发送给 api.datadoghq.eu (EU) 还是 api.datadoghq.com (US)。根据你的Datadog账号作相应配置。

  1. hoodie.metrics.datadog.api.site=EU # 或者 US

hoodie.metrics.datadog.api.key可以让你配置API密匙。

  1. hoodie.metrics.datadog.api.key=<你的API密匙>
  2. hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>

出于安全性考虑,你可能会选择在运行时返回API密匙。要使用这个方法,需要实现 java.util.function.Supplier<String>。并把实现类的完整类名设置到 hoodie.metrics.datadog.api.key.supplier。由于 hoodie.metrics.datadog.api.key有更高的优先级,也要确保它没有设置。

下面的属性用来配置指标前缀,从而区分不同job的指标。

  1. hoodie.metrics.datadog.metric.prefix=<你的指标前缀>

注意这里 .会被用来隔离前缀和指标名。比如,如果前缀是 foo,则 foo.会被加在指标名称前。

其他的可选属性在配置参考页里有相关解释。

4. 示例演示

在这个示例中,我们运行了一个 HoodieDeltaStreamer,启用了指标收集并做了相应的配置。

如图所示,我们能收集到Hudi操作相关的指标,比如

  • <前缀>.<表名>.commit.totalScanTime
  • <前缀>.<表名>.clean.duration
  • <前缀>.<表名>.index.lookup.duration

以及 HoodieDeltaStreamer相关的指标。

  • <前缀>.<表名>.deltastreamer.duration
  • <前缀>.<表名>.deltastreamer.hiveSyncDuration

5. 总结

Hudi提供了多种报告者,方便监控Hudi应用运行时的各项指标,及时发现系统中的问题。

目录
相关文章
|
15天前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
3月前
|
Java 网络安全 Apache
SshClient应用指南:使用org.apache.sshd库在服务器中执行命令。
总结起来,Apache SSHD库是一个强大的工具,甚至可以用于创建你自己的SSH Server。当你需要在服务器中执行命令时,这无疑是非常有用的。希望这个指南能对你有所帮助,并祝你在使用Apache SSHD库中有一个愉快的旅程!
185 29
|
7月前
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
332 5
|
7月前
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
162 1
|
8月前
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
109 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
8月前
|
缓存 前端开发 应用服务中间件
CORS跨域+Nginx配置、Apache配置
CORS跨域+Nginx配置、Apache配置
435 7
|
8月前
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
128 3
|
8月前
|
消息中间件 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(二)
99 2
|
8月前
|
存储 消息中间件 druid
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
大数据-151 Apache Druid 集群模式 配置启动【上篇】 超详细!
173 1
|
6月前
|
存储 人工智能 大数据
The Past, Present and Future of Apache Flink
本文整理自阿里云开源大数据负责人王峰(莫问)在 Flink Forward Asia 2024 上海站主论坛开场的分享,今年正值 Flink 开源项目诞生的第 10 周年,借此时机,王峰回顾了 Flink 在过去 10 年的发展历程以及 Flink社区当前最新的技术成果,最后展望下一个十年 Flink 路向何方。
561 33
The Past, Present and Future of Apache Flink

推荐镜像

更多