部署Ganglia监控Hadoop&Hbase

简介:

在运维hadoop的时候,经常会遇到一些性能问题。而性能问题,是无法简单通过web页面和log分析出来的。需要很多方面的指标。而Ganglia就是比较实用个监控工具之一。


部署Ganglia,百度一下,很多人已经分享很多。结合众人的经验。并加入自己安装过程中遇到的问题,整理出本文。


1. 准备了2台机器

1
2
3
4
Server
192.168.0.11(gmetad,web,gmond-master)
Client
192.168.0.12(gmond)


2. Server端需要安装的软件包

● epel包的安装:yum install -y epel-release(解决不能yum安装某些安装包的问题)

● gmetad的安装:yum install -y ganglia-gmetad ganglia-devel

● gmond的安装:yum install -y ganglia-gmond ganglia-gmond-python

● rrdtool的安装:yum install -y rrdtool rrdtool-devel

● httpd服务器的安装:yum install -y httpd

● ganglia-web及php安装:yum install -y ganglia-web php

● 其他依赖包的安装:yum install -y apr-devel zlib-devel libconfuse-devel expat-devel pcre-devel


3. 被监测节点需要安装的软件包

● epel包的安装:yum install -y epel-release(解决不能yum安装某些安装包的问题)

● gmond的安装:yum install -y ganglia-gmond ganglia-gmond-python


4. 安装目录说明

● ganglia配置文件目录:/etc/ganglia

● rrd数据库存放目录:/var/lib/ganglia/rrds

● httpd主站点目录:/var/www/html

● ganglia-web安装目录:/usr/share/ganglia

● ganglia-web配置目录:/etc/httpd/conf.d/ganglia.conf


5. 关闭SELINUX

1
2
3
vi /etc/selinux/config
把SELINUX=enforcing改成SELINUX=disable;
需要重启机器。


6. 关闭防火墙

1
2
3
# chkconfig iptables off
# chkconfig iptables --list
iptables        0:off   1:off   2:off   3:off   4:off   5:off   6:off


7. 配置/etc/ganglia/gmetad.conf

修改data_source,改成:

1
data_source "testcluster” 192.168.0.11:8650 #gmetad采集数据的目标gmond地址和端口(tcp_accept_channel)


8. 配置gmond

/etc/ganglia/gmond.conf,修改以下内容(这个gmond节点作为收集节点,这个节点可以是多个,最后需要在gmetad.conf上进行配置):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
cluster {
name =  "testcluster"  #设置集群的名称
#owner = "unspecified"
latlong =  "unspecified"
url =  "unspecified"
}
#发送到目标gmond的地址和端口(单播)
udp_send_channel {
host=192.168.0.11
port = 8649
ttl = 1
}
#接收udp的端口
udp_recv_channel {
port = 8649
}
#gmetad如果过来收集数据请求的端口
tcp_accept_channel {
port = 8650
gzip_output = no
}


9. 配置web

软连接方式

1
>ln -s /usr/share/ganglia /var/www/ganglia

也可以将/usr/share/ganglia的内容直接复制到/var/www/ganglia


10. 修改/etc/httpd/conf.d/ganglia.conf,改成:

1
2
3
4
5
Alias /ganglia /usr/share/ganglia
<Location /ganglia>
Order deny,allow
Allow from all
</Location>

11. 启动服务

1
2
3
#service gmetad start
#service gmond start
#service httpd restart

至此,Ganglia的server端已经部署完成。


配置客户端:

12. 客户端只要配置gmond即可(需要先安装yum -y install ganglia-gmond ganglia-gmond-python)

/etc/ganglia/gmond.conf,修改以下内容(这个gmond节点作为收集节点,这个节点可以是多个,最后需要在gmetad.conf上进行配置):

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
cluster {
name =  "testcluster"  #设置集群的名称
#owner = "unspecified"
latlong =  "unspecified"
url =  "unspecified"
}
#发送到目标gmond的地址和端口(单播)
udp_send_channel {
host=192.168.248.130
port = 8649
ttl = 1
}
#接收udp的端口
udp_recv_channel {
port = 8649
}
#gmetad如果过来收集数据请求的端口
tcp_accept_channel {
port = 8650
gzip_output = no
}


13. 配置HDFS、YARN集成Ganglia

修改hadoop-metrics2.properties

1
2
3
4
5
6
7
8
9
10
11
12
13
# for Ganglia 3.1 support
*.sink.ganglia. class =org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
*.sink.ganglia.period=10
# default for supportsparse is false
*.sink.ganglia.supportsparse= true
*.sink.ganglia.slope=jvm.metrics.gcCount=zero,jvm.metrics.memHeapUsedM=both
*.sink.ganglia.dmax=jvm.metrics.threadsBlocked=70,jvm.metrics.memHeapUsedM=40
namenode.sink.ganglia.servers=192.168.0.11:8649 # host请参考gmond.conf中的定义
datanode.sink.ganglia.servers=192.168.0.11:8649
resourcemanager.sink.ganglia.servers=192.168.0.11:8649
nodemanager.sink.ganglia.servers=192.168.0.11:8649
mrappmaster.sink.ganglia.servers=192.168.0.11:8649
jobhistoryserver.sink.ganglia.servers=192.168.0.11:8649


14.   HBase集成Ganglia

修改hadoop-metrics2-hbase.properties

1
2
3
4
5
6
7
8
9
10
11
*.sink.file*. class =org.apache.hadoop.metrics2.sink.FileSink
# default sampling period
*.period=10
*.source.filter. class =org.apache.hadoop.metrics2.filter.GlobFilter
*.record.filter. class =${*.source.filter. class }
*.metric.filter. class =${*.source.filter. class }
hbase.sink.ganglia.record.filter.exclude=*Regions*
hbase.sink.ganglia. class =org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31
hbase.sink.ganglia.tagsForPrefix.jvm=ProcessName
*.sink.ganglia.period=20
hbase.sink.ganglia.servers=192.168.0.11:8649 # host请参考gmond.conf中的定义


15. 拷贝配置文件到每一个需要监控的机器上

将hadoop-metrics2.properties拷贝到$HADOOP_HOME/etc/hadoop/目录下

将hadoop-metrics2-hbase.properties拷贝到$HBASE_HOME/conf目录下

重新启动hadoop&hbase软件,令其生效。


16. 启动监控端的gmond

1
service gmond start


问题汇总:

  1. 客户端已经有信息传递,能看到整体CPU load等信息

21.png

2. 但是各个节点的信息都是空的,显示“no matching metrics detected or rrds not readable”

22.png 


3. 查看RRDs信息

# cd /var/lib/ganglia/rrds

# ll

drwxr-xr-x 5 ganglia ganglia  4096 Jan 17 08:50 azcluster

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:59 __SummaryInfo__


4. 文件夹名是小写的

# ll

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

drwxr-xr-x 2 ganglia ganglia  4096 Jan 17 08:47 azcbetaldapl01.envazure.com

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__


5. 数据都已经传递过来了

# ls azcbetadnl05.envazure.com/|more

boottime.rrd

bytes_in.rrd

bytes_out.rrd

cpu_aidle.rrd

disk_free_absolute_data1.rrd

disk_free_absolute_data2.rrd

disk_free_absolute_data3.rrd

disk_free_absolute_data4.rrd

disk_free_absolute_data5.rrd

disk_free_absolute_dev_shm.rrd

disk_free_absolute_mnt_resource.rrd

......


6. 原因:/var/lib/ganglia/rrds中对各个节点相应的文件夹是小写,如果节点的hostname中包含大写字母的话,这样就发现找不到数据了。

解决方法:修改gmetad.conf,将case_sensitive_hostnames的值设置为1


# ls /etc/ganglia/

drwxr-xr-x 2 root root 4096 Jan 17 08:36 conf.d

-rw-r--r-- 1 root root  171 Oct 12  2015 conf.php

-rw-r--r-- 1 root root 9834 Jan 17 08:44 gmetad.conf

-rw-r--r-- 1 root root 8756 Jan 17 08:45 gmond.conf

# vi gmetad.conf

# In earlier versions of gmetad, hostnames were handled in a case

# sensitive manner

# If your hostname directories have been renamed to lower case,

# set this option to 0 to disable backward compatibility.

# From version 3.2, backwards compatibility will be disabled by default.

# default: 1   (for gmetad < 3.2)

# default: 0   (for gmetad >= 3.2)

case_sensitive_hostnames 1   #设置为1,则不会将大写变成小写


7. 修改完之后,到RRDs目录下查看结果。

# cd /var/lib/ganglia/rrds/azcluster

没有什么变化

# ls -al

drwxr-xr-x 2 ganglia ganglia 32768 Jan 17 10:58 azcbetadnl05.envazure.com

drwxr-xr-x 2 ganglia ganglia  4096 Jan 17 08:47 azcbetaldapl01.envazure.com

drwxr-xr-x 2 ganglia ganglia 36864 Jan 17 10:58 __SummaryInfo__


8. 重启gmetad,让配置生效

1
2
3
# service gmetad restart
Shutting down GANGLIA gmetad:                              [  OK  ]
Starting GANGLIA gmetad:                                   [  OK  ]

9. 可以看到大写主机名的文件夹已经被创建

1
2
3
4
5
6
# ls -al
drwxr-xr-x 2 ganglia ganglia 32768 Jan 18 02:09 azcbetadnl05.envazure.com
drwxr-xr-x 2 ganglia ganglia  4096 Jan 18 02:10 AZcbetadnL05.envazure.com    <<<<<<
drwxr-xr-x 2 ganglia ganglia  4096 Jan 17 08:47 azcbetaldapl01.envazure.com
drwxr-xr-x 2 ganglia ganglia  4096 Jan 18 02:10 AZcbetaLDAPL01.envazure.com    <<<<<<
drwxr-xr-x 2 ganglia ganglia 36864 Jan 18 02:09 __SummaryInfo__

10. 可以看到信息已经过来了

1
2
3
4
5
# ls -l AZcbetaLDAPL01.envazure.com
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 boottime.rrd
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_in.rrd
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 bytes_out.rrd
-rw-rw-rw- 1 ganglia ganglia 630760 Jan 18 02:13 cpu_aidle.rrd

11. 再看看网页显示,已经正常了。

23.png











本文转自 hsbxxl 51CTO博客,原文链接:http://blog.51cto.com/hsbxxl/2062477,如需转载请自行联系原作者

相关实践学习
云数据库HBase版使用教程
&nbsp; 相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情:&nbsp;https://cn.aliyun.com/product/hbase &nbsp; ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库&nbsp;ECS 实例和一台目标数据库&nbsp;RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&amp;RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
4月前
|
Java Shell 分布式数据库
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
【大数据技术Hadoop+Spark】HBase数据模型、Shell操作、Java API示例程序讲解(附源码 超详细)
82 0
|
7月前
|
大数据 分布式数据库 Docker
基于Docker搭建大数据集群(七)Hbase部署
基于Docker搭建大数据集群(七)Hbase部署
|
4月前
|
分布式计算 Hadoop 关系型数据库
Hadoop任务scan Hbase 导出数据量变小分析
Hadoop任务scan Hbase 导出数据量变小分析
53 0
|
3月前
|
存储 分布式计算 Hadoop
Hadoop中的HBase是什么?请解释其作用和用途。
Hadoop中的HBase是什么?请解释其作用和用途。
40 0
|
4月前
|
Java Shell 分布式数据库
Pinpoint【部署 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)20230228
Pinpoint【部署 01】JDK\HBase\Pinpoint Collector+Web 最新版 2.3.3 安装配置运行验证及脚本文件分享(避坑指南捷径指北)20230228
67 0
|
4月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.16 安装HBase
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
82 1
Hadoop学习笔记(HDP)-Part.16 安装HBase
|
4天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
22 2
|
4天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
6天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
35 1
|
23天前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
18 1
大数据Hadoop生态圈体系视频课程