在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?

本文涉及的产品
可观测监控 Prometheus 版,每月50GB免费额度
简介: 在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?

在 HBase 集群中,使用 Prometheus 监控时通常会关注以下类型的性能指标:

  1. Master 核心指标

    • 进程存在性(进程必须存在且运行正常)
    • Master 进程启动时间(masterStartTime,应大于10秒)
    • 主备状态(haState,应为1表示主或0表示备)
    • 通用队列 RPC 请求数(numCallsInPriorityQueue,应小于或等于1000)
    • 复制队列 RPC 请求数(numCallsInReplicationQueue,同上)
    • 当前打开的连接个数(numOpenConnections,应小于或等于1000)
    • 当前 Dead 的 RegionServer 个数(numDeadRegionServers,应小于或等于0)
  2. RegionServer 核心指标

    • 进程存在性(进程必须存在且运行正常)
    • 通用队列 RPC 请求数(同 Master 指标)
    • JVM 堆内内存使用率(MemHeapUsedM/MemHeapMaxM,应小于60%)
    • 可用的 VCore 占比(AvailableVCores / (AllocatedVCores + AvailableVCores ),应小于90%)
    • 可用的内存占比(AvailableGB / (AllocatedGB + AvailableGB ),同上)
    • 写入 DN 的字节速率(BytesWrittenMB,根据机器网卡带宽调整)
    • 读取 DN 的字节速率(BytesReadMB,同上)
    • 磁盘故障次数(VolumeFailures,应小于或等于0)
    • 网络错误统计(DatanodeNetworkErrors,应小于或等于0)
    • 磁盘使用率(应小于70%)
    • 磁盘读写的 await(应小于1ms)
  3. 延迟和吞吐量指标

    • 读延迟(Read Latency)和写延迟(Write Latency):衡量从 HBase 读取或写入数据所需的时间
    • RPC 延迟(RPC Latency):衡量 HBase 与客户端之间 RPC 调用所需的时间
    • 读吞吐量(Read Throughput)和写吞吐量(Write Throughput):衡量从 HBase 读取或写入数据的速率
  4. 资源利用率指标

    • 存储空间利用率(Storage Utilization)和内存利用率(Memory Utilization):衡量 HBase 存储集群中使用的存储或内存占总资源的比例
  5. JVM 使用信息

    • 监控 JVM 的堆内存使用情况,包括堆内存使用量和最大堆内存大小
  6. 功能性信息

    • 比如 Compaction Queue、Store Files 个数等

通过 Prometheus 抓取这些指标后,可以使用 Grafana 进行数据可视化,帮助管理员实时监控 HBase 集群的性能和健康状况。同时,可以设置告警规则,当某些关键指标超出预设阈值时及时通知管理员采取措施。

相关文章
|
3月前
|
Prometheus 监控 Cloud Native
云原生监控实战:Prometheus+Grafana快速搭建指南
云原生监控实战:Prometheus+Grafana快速搭建指南
|
3月前
|
存储 Prometheus 监控
OSS监控体系搭建:Prometheus+Grafana实时监控流量、错误码、存储量(开源方案替代云监控自定义视图)
本方案基于Prometheus构建OSS监控系统,涵盖架构设计、指标采集、可视化、告警及性能优化,助力企业实现高可用、低成本的自建监控体系。
340 1
|
4月前
|
Prometheus 监控 Cloud Native
除了Prometheus,还有哪些工具可以监控Docker Swarm集群的资源使用情况?
除了Prometheus,还有哪些工具可以监控Docker Swarm集群的资源使用情况?
336 79
|
3月前
|
存储 监控 Cloud Native
云原生监控实战:Prometheus+Grafana打造RDS多维度预警体系
本方案构建了基于Prometheus与Thanos的云原生RDS监控体系,涵盖数据采集、存储、可视化与告警全流程。支持10万+QPS采集、90%存储压缩,具备<30秒告警延迟能力。通过自定义指标与智能预警策略,显著提升故障发现效率,实现分钟级响应。
242 5
|
3月前
|
Prometheus 监控 Cloud Native
|
2月前
|
Prometheus 监控 Cloud Native
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务
Docker 部署 Prometheus 和 Grafana 监控 Spring Boot 服务实现步骤
|
10月前
|
Prometheus 运维 监控
智能运维实战:Prometheus与Grafana的监控与告警体系
【10月更文挑战第26天】Prometheus与Grafana是智能运维中的强大组合,前者是开源的系统监控和警报工具,后者是数据可视化平台。Prometheus具备时间序列数据库、多维数据模型、PromQL查询语言等特性,而Grafana支持多数据源、丰富的可视化选项和告警功能。两者结合可实现实时监控、灵活告警和高度定制化的仪表板,广泛应用于服务器、应用和数据库的监控。
881 3
|
6月前
|
Prometheus Kubernetes 监控
Kubernetes监控:Prometheus与AlertManager结合,配置邮件告警。
完成这些步骤之后,您就拥有了一个可以用邮件通知你的Kubernetes监控解决方案了。当然,所有的这些配置都需要相互照应,还要对你的Kubernetes集群状况有深入的了解。希望这份指南能帮助你创建出适合自己场景的监控系统,让你在首次发现问题时就能做出响应。
251 22
|
9月前
|
存储 数据采集 Prometheus
Grafana Prometheus Altermanager 监控系统
Grafana、Prometheus 和 Alertmanager 是一套强大的开源监控系统组合。Prometheus 负责数据采集与存储,Alertmanager 处理告警通知,Grafana 提供可视化界面。本文简要介绍了这套系统的安装配置流程,包括各组件的下载、安装、服务配置及开机自启设置,并提供了访问地址和重启命令。适用于希望快速搭建高效监控平台的用户。
438 20
|
9月前
|
Prometheus 监控 Cloud Native
Prometheus+Grafana监控Linux主机
通过本文的步骤,我们成功地在 Linux 主机上使用 Prometheus 和 Grafana 进行了监控配置。具体包括安装 Prometheus 和 Node Exporter,配置 Grafana 数据源,并导入预设的仪表盘来展示监控数据。通过这种方式,可以轻松实现对 Linux 主机的系统指标监控,帮助及时发现和处理潜在问题。
715 7