Ganglia监控Hadoop与HBase集群

简介:

以下基于上篇Hadoop2.6与HBase1.0集群架构:

http://lizhenliang.blog.51cto.com/7876557/1665130

http://lizhenliang.blog.51cto.com/7876557/1661354

 Hadoop集群基本部署完成,接下来就需要有一个监控系统,能及时发现性能瓶颈,给故障排除提供有力依据。监控hadoop集群系统好用的比较少,自身感觉ambari比较好用,但不能监控已有的集群环境,挺悲催的。ganglia在网上看到原生支持Hadoop、Hbase性能监控,试用一段时间感觉还不错,监控项比较全面,配置简单,软件包在epel网络源中,使用yum安装方便快捷。

 Ganglia是一个开源集群监控系统,主要用来监控系统性能,如:cpu、mem、硬盘利用率、I/O负载、网络流量等。

Ganglia涉及到三个组件:

gmetad:定期从gmond获取数据,并将数据存储到RRD存储引擎中。

gmond:被监控端代理程序,用于收集监控信息,并发送给gmetad。

ganglia-web:WEB前端,RRD绘图后通过PHP展示。

四、Ganglia集群监控系统部署

1.  CentOS7 YUM自带epel网络源,直接安装(部署到HMaster0上,尽量单独放一台机器上)

1
2
# yum install epel-release   
# yum install ganglia-web ganglia-gmetad ganglia-gmond

此时会安装出来我们要安装的ganglia之外,还要安装httpd、php、rrdtool、gd、png、jpeg等相关软件包

2.  配置监控端(在HMaster0上配置)

 2.1 配置监控程序

1
2
3
  # vi /etc/ganglia/gmetad.conf   #修改以下两项
  data_source  "Hadoop"  192.168.18.215 192.168.18.216 192.168.18.217 192.168.18.218192.168.18.219
  case_sensitive_hostnames 1

 参数说明:

 第一个是数据源,Hadoop是集群名字,后跟IP是集群中被监控节点地址。

 第二个意思是是否区分主机名大小写,默认是0,修改为1,否则节点中主机名有大写的将保存为小写,写到/var/lib/ganglia/rrds/Hadoop中,导致图形无数据。

 2.2 关联Apache,因为Ganglia自创建的配置ganglia.conf有问题,所以先删除,再创建个软连接到Apache根目录下。

1
2
  # rm /etc/httpd/conf.d/ganglia.conf  
  # ln -s /usr/share/ganglia /var/www/html/ganglia

 2.3启动Apache和Ganglia,并设置开机启动

1
2
3
4
  # systemctl start httpd
  # systemctl start gmetad
  # systemctl enable httpd
  # systemctl enable gmetad

3.  安装与配置被监控端(每台同样配置)

 3.1 安装与配置代理程序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
  # yum install ganglia-gmond
  # vi /etc/ganglia/gmond.conf
  ……
  cluster{
    name =  "Hadoop"               #集群名,和上面那个一样
    owner =  "unspecified"
    latlong =  "unspecified"
    url =  "unspecified"
  }
   
  /* Thehost section describes attributes of the host, like the location */
  host {
    location =  "unspecified"
  }
   
  /*Feel  free  to specify as many udp_send_channels as you like.  Gmond
     used to only support having a single channel*/
  udp_send_channel{
    #bind_hostname = yes # Highly recommended,soon to be default.
                        # This option tells gmond to use asource  address
                         # that resolves to themachine's hostname.  Without
                         # this, the metrics mayappear to come from any
                         # interface and the DNSnames associated with
                         # those IPs will be usedto create the RRDs.
    #mcast_join = 239.2.11.71   #关闭多播
    host = 192.168.18.215      #添加发送IP/主机名
    port = 8649           #默认端口
    ttl = 1
  }
  
  /* Youcan specify as many udp_recv_channels as you like as well. */
  udp_recv_channel{
    #mcast_join = 239.2.11.71  
    port = 8649
    bind = 192.168.18.215       #接收地址
    retry_bind =  true
    # Size of the UDP buffer. If you are handlinglots of metrics you really
    # should bump it up to e.g. 10MB or evenhigher.
    # buffer = 10485760
  }
  ……

3.2 将修改好的gmond.conf配置scp到其他节点

1
# scp /etc/ganglia/gmond.conf root@HMaster1:/etc/ganglia/gmond.conf   #分别拷贝HSlave0、1、2

3.3 启动代理程序,并设置开机启动

1
2
# systemctl start gmond
# systemctl enable gmond

4.  添加Hadoop被Ganglia监控,去掉文件中以***释并修改(每台同样配置)

1
2
3
4
5
6
7
8
9
10
# vi /opt/hadoop-2.6.0/etc/hadoop/hadoop-metrics2.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
*.sink.ganglia.supportsparse= true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
namenode.sink.ganglia.servers=192.168.18.215:8649     #当有多个ganglia监控系统时,以逗号分隔
datanode.sink.ganglia.servers=192.168.18.215:8649      #都指定ganglia服务器
resourcemanager.sink.ganglia.servers=192.168.18.215:8649
nodemanager.sink.ganglia.servers=192.168.18.215:8649

5.  添加HBase被Ganglia监控,添加如下(每台同样配置)

1
2
3
4
5
# vi /opt/hbase-1.0.1.1/conf/hadoop-metrics2-hbase.properties
*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31  
*.sink.ganglia.period=10  
hbase.sink.ganglia.period=10  
hbase.sink.ganglia.servers=192.168.18.215:8649

6.  重启Hadoop和HBase

1
2
3
4
5
6
# stop-dfs.sh
# stop-yarn.sh
# stop-hbase.sh
# start-dfs.sh
# start-yarn.sh
# start-hbase.sh   #HRegionServer节点需要手动启动(hbase-daemon.sh start regionserver)

7.  通过WEB查看性能监控数据

访问地址:http://192.168.18.215/ganglia

wKiom1WSBTDC1VBOAAaOmA7E-wk380.jpgwKiom1WSBTvg-RTGAASEQJhXUhs814.jpg

wKioL1WSCozAQB_1AAPqsebXF10742.jpg


相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
1月前
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
58 3
|
2月前
|
分布式计算 Java Hadoop
java使用hbase、hadoop报错举例
java使用hbase、hadoop报错举例
84 4
|
30天前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
65 4
|
30天前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
31 3
|
30天前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
55 3
|
30天前
|
SQL 分布式计算 Hadoop
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
Hadoop-34 HBase 安装部署 单节点配置 hbase-env hbase-site 超详细图文 附带配置文件
66 2
|
30天前
|
存储 分布式计算 Hadoop
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
Hadoop-33 HBase 初识简介 项目简介 整体架构 HMaster HRegionServer Region
49 2
|
2月前
|
分布式计算 资源调度 监控
监控Hadoop指标
详细介绍了Hadoop指标的概念、类型和收集方法,包括JVM、RPC、DFS、YARN以及用户和组指标,以及如何配置Hadoop以收集这些指标,从而帮助监控、调试和优化Hadoop集群的性能。
57 2
监控Hadoop指标
|
2月前
|
分布式计算 监控 Hadoop
监控Hadoop集群实战篇
介绍了监控Hadoop集群的方法,包括监控Linux服务器、Hadoop指标、使用Ganglia监控Hadoop集群、Hadoop日志记录、通过Hadoop的Web UI进行监控以及其他Hadoop组件的监控,并提供了相关监控工具和资源的推荐阅读链接。
76 2
|
3月前
|
Prometheus 监控 Cloud Native
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
在 HBase 集群中,Prometheus 通常监控哪些类型的性能指标?
114 2