实战!配置DataDog监控Apache Hudi应用指标

简介: 实战!配置DataDog监控Apache Hudi应用指标

1. 可用性

在Hudi最新master分支,由Hudi活跃贡献者Raymond Xu贡献了DataDog监控Hudi应用指标,该功能将在0.6.0 版本发布,也感谢Raymond的投稿。

2. 简介

Datadog是一个流行的监控服务。在即将发布的Apache Hudi 0.6.0版本中,除已有的报告者类型(Graphite和JMX)之外,我们将引入通过Datadog HTTP API报告Hudi指标的功能。

3. 配置

类似于其他支持的报告者,启用Datadog报告者需要以下两个属性。

  1. hoodie.metrics.on=true
  2. hoodie.metrics.reporter.type=DATADOG

下面的属性用来配置Datdog API站点。它会决定请求被发送给 api.datadoghq.eu (EU) 还是 api.datadoghq.com (US)。根据你的Datadog账号作相应配置。

  1. hoodie.metrics.datadog.api.site=EU # 或者 US

hoodie.metrics.datadog.api.key可以让你配置API密匙。

  1. hoodie.metrics.datadog.api.key=<你的API密匙>
  2. hoodie.metrics.datadog.api.key.supplier=<你的API密匙提供者>

出于安全性考虑,你可能会选择在运行时返回API密匙。要使用这个方法,需要实现 java.util.function.Supplier<String>。并把实现类的完整类名设置到 hoodie.metrics.datadog.api.key.supplier。由于 hoodie.metrics.datadog.api.key有更高的优先级,也要确保它没有设置。

下面的属性用来配置指标前缀,从而区分不同job的指标。

  1. hoodie.metrics.datadog.metric.prefix=<你的指标前缀>

注意这里 .会被用来隔离前缀和指标名。比如,如果前缀是 foo,则 foo.会被加在指标名称前。

其他的可选属性在配置参考页里有相关解释。

4. 示例演示

在这个示例中,我们运行了一个 HoodieDeltaStreamer,启用了指标收集并做了相应的配置。

如图所示,我们能收集到Hudi操作相关的指标,比如

  • <前缀>.<表名>.commit.totalScanTime
  • <前缀>.<表名>.clean.duration
  • <前缀>.<表名>.index.lookup.duration

以及 HoodieDeltaStreamer相关的指标。

  • <前缀>.<表名>.deltastreamer.duration
  • <前缀>.<表名>.deltastreamer.hiveSyncDuration

5. 总结

Hudi提供了多种报告者,方便监控Hudi应用运行时的各项指标,及时发现系统中的问题。

目录
相关文章
|
消息中间件 数据挖掘 Kafka
Apache Kafka流处理实战:构建实时数据分析应用
【10月更文挑战第24天】在当今这个数据爆炸的时代,能够快速准确地处理实时数据变得尤为重要。无论是金融交易监控、网络行为分析还是物联网设备的数据收集,实时数据处理技术都是不可或缺的一部分。Apache Kafka作为一款高性能的消息队列系统,不仅支持传统的消息传递模式,还提供了强大的流处理能力,能够帮助开发者构建高效、可扩展的实时数据分析应用。
703 5
|
6月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
9月前
|
Java 网络安全 Apache
SshClient应用指南:使用org.apache.sshd库在服务器中执行命令。
总结起来,Apache SSHD库是一个强大的工具,甚至可以用于创建你自己的SSH Server。当你需要在服务器中执行命令时,这无疑是非常有用的。希望这个指南能对你有所帮助,并祝你在使用Apache SSHD库中有一个愉快的旅程!
541 29
|
消息中间件 Java Kafka
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
Spring Boot 与 Apache Kafka 集成详解:构建高效消息驱动应用
459 1
|
存储 分布式计算 druid
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
186 1
大数据-152 Apache Druid 集群模式 配置启动【下篇】 超详细!(一)
|
缓存 前端开发 应用服务中间件
CORS跨域+Nginx配置、Apache配置
CORS跨域+Nginx配置、Apache配置
663 7
|
消息中间件 存储 druid
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
210 3
|
2月前
|
人工智能 数据处理 API
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
Apache Flink Agents 是由阿里云、Ververica、Confluent 与 LinkedIn 联合推出的开源子项目,旨在基于 Flink 构建可扩展、事件驱动的生产级 AI 智能体框架,实现数据与智能的实时融合。
352 6
阿里云、Ververica、Confluent 与 LinkedIn 携手推进流式创新,共筑基于 Apache Flink Agents 的智能体 AI 未来
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
298 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
4月前
|
SQL 人工智能 数据挖掘
Apache Flink:从实时数据分析到实时AI
Apache Flink 是实时数据处理领域的核心技术,历经十年发展,已从学术项目成长为实时计算的事实标准。它在现代数据架构中发挥着关键作用,支持实时数据分析、湖仓集成及实时 AI 应用。随着 Flink 2.0 的发布,其在流式湖仓、AI 驱动决策等方面展现出强大潜力,正推动企业迈向智能化、实时化的新阶段。
514 9
Apache Flink:从实时数据分析到实时AI

推荐镜像

更多