实战ganglia分布式的监控系统(1)——监控主机与远程主机

简介:

 ganglia 是分布式的监控系统,有两个Daemon, 分别是:客户端Ganglia Monitoring Daemon(gmond)和服务端Ganglia Meta Daemon (gmetad),还有Ganglia PHP Web Frontend(基于web的动态访问方式)组成是一个Linux下图形化监控系统运行性能的软件,界面美观、丰富,功能强大
        http://ganglia.sourceforge.net/ 软件下载


实验环境:
    物理主机    redhat7.0 内核版本 3.10.0-123.el7.x86_64
    虚拟机    redhat6.5 内核版本 2.6.32-431.el6.x86_64
        服务器端: server1.example.com    172.25.254.1
        客户端:    server2.example.com    172.25.254.2
    所需软件包:
        ganglia-3.4.0.tar.gz                   
        rrdtool-devel-1.3.8-6.el6.x86_64.rpm
        ganglia-web-3.4.2.tar.gz               
        libconfuse-2.6-3.el6.x86_64.rpm        
        libconfuse-devel-2.6-3.el6.x86_64.rpm
        alert-agent-4.1.3.1-linux-x64.tar.gz


1。服务器端配置

    1.1使用源码包编译rpm包安装

[root@server1 ~]# yum install rpm-build -y
[root@server1 ~]# rpmbuild -tb ganglia-3.4.0.tar.gz   ##会显示需要以下    依赖包,安装即可

error: Failed build dependencies:
    libpng-devel is needed by ganglia-3.4.0-1.x86_64
    libart_lgpl-devel is needed by ganglia-3.4.0-1.x86_64
    gcc-c++ is needed by ganglia-3.4.0-1.x86_64
    python-devel is needed by ganglia-3.4.0-1.x86_64
    libconfuse-devel is needed by ganglia-3.4.0-1.x86_64
    pcre-devel is needed by ganglia-3.4.0-1.x86_64
    autoconf is needed by ganglia-3.4.0-1.x86_64
    automake is needed by ganglia-3.4.0-1.x86_64
    libtool is needed by ganglia-3.4.0-1.x86_64
    expat-devel is needed by ganglia-3.4.0-1.x86_64
    rrdtool-devel is needed by ganglia-3.4.0-1.x86_64
    freetype-devel is needed by ganglia-3.4.0-1.x86_64
    apr-devel > 1 is needed by ganglia-3.4.0-1.x86_64
[root@server1 ~]# yum install libart_lgpl-devel gcc-c++ python-devel libconfuse-devel pcre-devel expat-devel rrdtool-devel apr-devel -y 
[root@server1 ~]# yum install libconfuse-* rrdtool-devel-1.3.8-6.el6.x86_64.rpm  -y
[root@server1 ~]# rpmbuild -tb ganglia-3.4.0.tar.gzerror: Failed build         dependencies:
    libpng-devel is needed by ganglia-3.4.0-1.x86_64
    autoconf is needed by ganglia-3.4.0-1.x86_64
    automake is needed by ganglia-3.4.0-1.x86_64
    libtool is needed by ganglia-3.4.0-1.x86_64
    freetype-devel is needed by ganglia-3.4.0-1.x86_64
[root@server1 ~]# yum install libpng-devel autoconf automake libtool     freetype-devel -y
[root@server1 ~]# rpmbuild -tb ganglia-3.4.0.tar.gz    ##再次执行就好咯!

[root@server1 ~]# cd /root/rpmbuild/RPMS/x86_64/
[root@server1 x86_64]# ls
    ganglia-devel-3.4.0-1.x86_64.rpm
    ganglia-gmetad-3.4.0-1.x86_64.rpm        ##服务器端的

    ganglia-gmond-3.4.0-1.x86_64.rpm        ##客户端的

    ganglia-gmond-modules-python-3.4.0-1.x86_64.rpm    ##支持python的客户端的

    libganglia-3.4.0-1.x86_64.rpm

    1.2服务器端安装ganglia软件

[root@server1 x86_64]# yum install ganglia-gmetad-3.4.0-1.x86_64.rpm  libganglia-3.4.0-1.x86_64.rpm  ganglia-gmond-3.4.0-1.x86_64.rpm -y

    1.3将编译好的客户端rpm包复制到客户端

[root@server1 x86_64]# scp  -r  libganglia-3.4.0-1.x86_64.rpm   ganglia-gmond-3.4.0-1.x86_64.rpm    ganglia-gmond-modules-python-3.4.0-1.x86_64.rpm  172.25.254.2:/root

[root@server1 x86_64]# ls /root/libconfuse-*
    /root/libconfuse-2.6-3.el6.x86_64.rpm
    /root/libconfuse-devel-2.6-3.el6.x86_64.rpm

[root@server1 x86_64]# scp -r /root/libconfuse-* 172.25.254.2:/root

    1.4修改配置文件

[root@server1 x86_64]# cd /etc/ganglia/
[root@server1 ganglia]# vim gmetad.conf    

    #修改44行为:

        44 data_source "willis  cluster" localhost  172.25.254.2

[root@server1 ganglia]# vim gmond.conf 
    ##修改24行为:

        24   name = "willis cluster"

    1.5 网页端监控配置

[root@server1 ganglia]# cd /root/
[root@server1 ~]# rpm -tb ganglia-web-3.4.2.tar.gz 

[root@server1 ~]# yum install php php-gd -y        ##提示什么就装什么
[root@server1 ~]# rpm -tb ganglia-web-3.4.2.tar.gz

[root@server1 ~]# cd /var/www/html/
[root@server1 html]# ls
gweb            #有生成一个gweb目录就是网页监控端目录


    1.6 启动服务器端

[root@server1 ganglia]# /etc/init.d/gmond start
Starting GANGLIA gmond:                                    [  OK  ]
[root@server1 ganglia]# /etc/init.d/gmetad start
Starting GANGLIA gmetad:                                   [  OK  ]

2.被监控客户端配置

[root@server2 ~]# rpm -ivh ganglia-gmond-3.4.0-1.x86_64.rpm  lib*
[root@server2 ~]# rpm -ivh ganglia-gmond-modules-python-3.4.0-1.x86_64.rpm  
[root@server2 ~]# cd /etc/ganglia/
[root@server2 ganglia]# vim gmond.conf 

    24   name = "willis  cluster"

[root@server2 ganglia]# /etc/init.d/gmond start
Starting GANGLIA gmond:                                    [  OK  ]


3.浏览器访问测试

    访问 172.25.254.1 /gweb,如果没有显示节点,且在服务器端server1上的/var/lib/ganglia/rrds路径下没有文件
        则在
服务器和客户端都做如下动作:
        <1>ip route add 239.2.11.71 dev eth0
        <2>route -n
    ********************************************************************
    [root@server1 objects]# route -n
    Kernel IP routing table
    Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
    239.2.11.71     0.0.0.0         255.255.255.255 UH    0      0        0 eth0
    172.25.0.0      0.0.0.0         255.255.0.0     U     0      0        0 eth0
    169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
    ********************************************************************
        <3>/etc/init.d/gmond restart
           /etc/init.d/gmetad restart
        <4>cd /var/lib/ganglia/rrds
            ls有__SummaryInfo__ 和 willis cluster两个目录    ##willis cluster里有所有局域网内可监控到的IP,包括自己
        <5>浏览器再刷新访问 172.25.254.1/gweb就好了!

wKioL1gRurzD2xDRAAHCYu8vnTY316.png


查看服务器server1节点

wKioL1gRuxPCFwi7AAG6XNCis-Q831.png

查看客户端server2节点

wKiom1gRuzjjG7PoAAFQNCCnK9U316.png


本文转自willis_sun 51CTO博客,原文链接:http://blog.51cto.com/willis/1866336,如需转载请自行联系原作者

相关文章
|
7月前
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
859 34
|
3月前
|
存储 算法 安全
“卧槽,系统又崩了!”——别慌,这也许是你看过最通俗易懂的分布式入门
本文深入解析分布式系统核心机制:数据分片与冗余副本实现扩展与高可用,租约、多数派及Gossip协议保障一致性与容错。探讨节点故障、网络延迟等挑战,揭示CFT/BFT容错原理,剖析规模与性能关系,为构建可靠分布式系统提供理论支撑。
219 2
|
3月前
|
机器学习/深度学习 算法 安全
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
新型电力系统下多分布式电源接入配电网承载力评估方法研究(Matlab代码实现)
127 3
|
5月前
|
数据采集 缓存 NoSQL
分布式新闻数据采集系统的同步效率优化实战
本文介绍了一个针对高频新闻站点的分布式爬虫系统优化方案。通过引入异步任务机制、本地缓存池、Redis pipeline 批量写入及身份池策略,系统采集效率提升近两倍,数据同步延迟显著降低,实现了分钟级热点追踪能力,为实时舆情监控与分析提供了高效、稳定的数据支持。
166 1
分布式新闻数据采集系统的同步效率优化实战
|
11月前
|
存储 运维 安全
盘古分布式存储系统的稳定性实践
本文介绍了阿里云飞天盘古分布式存储系统的稳定性实践。盘古作为阿里云的核心组件,支撑了阿里巴巴集团的众多业务,确保数据高可靠性、系统高可用性和安全生产运维是其关键目标。文章详细探讨了数据不丢不错、系统高可用性的实现方法,以及通过故障演练、自动化发布和健康检查等手段保障生产安全。总结指出,稳定性是一项系统工程,需要持续迭代演进,盘古经过十年以上的线上锤炼,积累了丰富的实践经验。
789 7
|
11月前
|
存储 分布式计算 Hadoop
基于Java的Hadoop文件处理系统:高效分布式数据解析与存储
本文介绍了如何借鉴Hadoop的设计思想,使用Java实现其核心功能MapReduce,解决海量数据处理问题。通过类比图书馆管理系统,详细解释了Hadoop的两大组件:HDFS(分布式文件系统)和MapReduce(分布式计算模型)。具体实现了单词统计任务,并扩展支持CSV和JSON格式的数据解析。为了提升性能,引入了Combiner减少中间数据传输,以及自定义Partitioner解决数据倾斜问题。最后总结了Hadoop在大数据处理中的重要性,鼓励Java开发者学习Hadoop以拓展技术边界。
350 7
|
存储 运维 负载均衡
构建高可用性GraphRAG系统:分布式部署与容错机制
【10月更文挑战第28天】作为一名数据科学家和系统架构师,我在构建和维护大规模分布式系统方面有着丰富的经验。最近,我负责了一个基于GraphRAG(Graph Retrieval-Augmented Generation)模型的项目,该模型用于构建一个高可用性的问答系统。在这个过程中,我深刻体会到分布式部署和容错机制的重要性。本文将详细介绍如何在生产环境中构建一个高可用性的GraphRAG系统,包括分布式部署方案、负载均衡、故障检测与恢复机制等方面的内容。
648 4
构建高可用性GraphRAG系统:分布式部署与容错机制
|
12月前
|
机器学习/深度学习 存储 运维
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
654 4
|
数据采集 存储 监控
公司监控软件:基于 PHP 的分布式监控系统设计
本文介绍了基于 PHP 的分布式监控系统的设计与实现。该系统包括监控节点、数据采集模块、数据传输模块和监控中心,能够高效地收集、传输和分析各节点的数据,确保系统的稳定运行和安全防护。通过示例代码展示了数据采集、传输及存储的具体实现方法,并强调了安全与可靠性的重要性。
170 3
|
消息中间件 存储 监控
消息队列系统中的确认机制在分布式系统中如何实现
消息队列系统中的确认机制在分布式系统中如何实现

热门文章

最新文章