运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(一)

简介:

前言

记得刚来这家公司的时候,我部门就我一个运维工程师,然后就是经理,刚开始公司平台什么监控都没有,在我与经理的努力下,先搭建nagios+cacti监控平台,后来随着公司业务的增加,平台的功能与服务也不断的扩展,nagios+cacti监控不太适合平台的需要,为了解决此问题我就使用shell来搭建了脚本监控系统,根据平台的应用服务需求与领导要求,使用shell的脚本监控系统监控整个平台的运行情况,但随着公司业务的扩大,平台数量的增加,服务器的数量也随之增加,从以前的30台变为现在的120台左右,之前的shell脚本监控系统虽然能够顺利的监控平台的运行情况,但在日常服务器巡检的时候没有什么便利,我这里管理很严格,每天9、13、17都需要对平台进行一下巡检,服务器少的时候还好说,但120台巡检就是个噩梦,为了美好的生活,我决定使用自己设计一个新的监控系统,主要是能在服务器端,使用shell脚本监控继续的监控平台运气情况,使用mysql数据库记录监控数据,使用php设计一个web平台,能在web里展示这些服务器的监控数据,经过2个月的努力,我独自一人的完成了这项任务,经过3个月的试运行与生产环境的测试,成功的完成了我之前的需求,使我的时间变的更充裕,不必把时间浪费到日常巡检里,当然也有副作用,就是每天什么事都没有,实在太闲了(主要是我在搭建shell监控的时候,如果发现有服务宕掉,就根据错误代码自动的解决这个问题并重启服务,所以每天实在很闲)。

由于本监控系统我本人独立自主开发,所以具有决定本监控系统是否开源的权利,为了发展开源精神,我决定把本分布式监控系统open source,借此向开源致敬。其中php程序与shell脚本已经放到最后一页,也就是第七页,希望本文对各位如何的搭建分布式私有监控系统能有更多的启发,也希望各位同仁能多提意见,谢谢!

闲话不说,下面是我的“运维自动化之PHP+MYSQL+SHELL监控系统”的界面展示。

为了方便大家的理解,我画了一个php+mysql+shell的流程图

 

 本监控系统的流程为(部署的顺序是从右到左):

1 、需要在各省的机房里的所有服务器安装shell监控脚本,然后把监控服务与资源的数据写入到mysql数据库里;
2 mysql收到各省服务器发送的监控数据,把他们按照先前定义的数据表分别的存储起来;
3 php程序按照之前编辑好的显示方式,从mysql数据库里提前相应的数据,在web端显示,同时在部署php程序的images目录里,运行数据视图化脚本,生成各省监控的数据资源图;
4 、用户可以通过web来浏览监控服务与资源的数据、资源的监控数据图。


 由于本文文章与代码描述过多,所以分成7篇文章,下面是文章网页地图。

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(一)

http://dl528888.blog.51cto.com/2382721/1034992

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(二)

http://dl528888.blog.51cto.com/2382721/1035131

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(三)

http://dl528888.blog.51cto.com/2382721/1035142

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(四)

http://dl528888.blog.51cto.com/2382721/1035145

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(五)

http://dl528888.blog.51cto.com/2382721/1035252

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(六)

http://dl528888.blog.51cto.com/2382721/1035297

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(七)

http://dl528888.blog.51cto.com/2382721/1035335

1 、先查看资产管理

资产管理下面有 2个功能,一个是 新增的设备,一个是浏览设备
新增设备

可以增加以上的内容
浏览设备

可以展示之前添加的内容,是从数据库的 device表里获得数据
2 、监控详情
此页面里展示了所以的监控省份

比如我监控的省份就有甘肃、天津、广西、贵州、海南、河北、湖南、青海、新疆、河南、西藏、包头、湖北、江西、宁夏、陕西工 16个省份,每个省份5台服务器,共计80个服务器,目前还在继续添加服务器,预计半个月后,监控的服务器会增加到105个。
下面我们以天津为例
A 、应用服务监控详情

 

以上监控,显示的是应用服务的监控主要显示的内容是通过 shell脚本监控的,通过shell写入到mysql,然后php通过设置好的表单来进行展示来自mysql的数据。
B 、硬盘使用率监控详情

C cpu使用率监控详情

D 、硬件信息错误监控详情

E I/O使用率监控详情

F 15分钟内的负载

G 、内存使用率监控详情

H 、日志错误信息监控详情

I 、用户登录数监控详情

3 、当日报警
以天津为例

可以看到天津今天只有内存报警
4 、监控视图

可以看到监控视图有 3种,分别有日、月、年的,下面我们分别的查看一下
A 、当日报警,以新疆数据库为例
1)新疆数据库的硬盘使用率

2)新疆数据库的cpu使用率

3)新疆数据库的io使用率

4)新疆数据库的load使用率
5)新疆数据库的内存使用率

6)新疆数据库的用户登录数

以上为什么在hour为13,是因为我设置的hour为当前时间的,比如当前为2012年10月23日13:49分,那么当前的hour为13.而右上角的2行文字内容是:

2012 10月23日,database数据库的用户登录不正常的使用红色线表示
 

2012 10月23日,database数据库的用户登录正常的使用绿色线表示
 
B 、当月报警,以湖南引擎为例
1)湖南引擎的硬盘使用率

2)湖南引擎的cpu使用率

 
3)湖南引擎的io使用率

4)湖南引擎的load使用率

5)湖南引擎的内存使用率

6)湖南引擎的用户登录数

注意,month(31)是本月有多少天,通过shell脚本进行计算的。
C 、当年报警,以贵州引擎为例
1)贵州引擎的cpu使用率
2)贵州引擎的cpu使用率

3)贵州引擎的io使用率

4)贵州引擎的load使用率

5)贵州引擎的内存使用率

6)贵州引擎的用户登录数

5、邮件接收的shell报警截图

挑选几个真实的服务器报警给大家展示一下shell脚本监控服务器的报警系统。

A 、服务宕掉的报警

 

B hardware硬件错误信息报警

Cload负载报警

D、内存报警

Eswap报警

由于本文文字与脚本内容过多,超过每篇8万字的限制,所以不得不分成多篇博文,尽请见谅。

下一篇文章地址:

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(二)

http://dl528888.blog.51cto.com/2382721/1035131

BTW:如果大家认为我写的不错,希望能给我的博客投个票,谢谢!

http://blog.51cto.com/contest2012/2382721






 本文转自 reinxu 51CTO博客,原文链接:http://blog.51cto.com/dl528888/1034992,如需转载请自行联系原作者


相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
安全 关系型数据库 MySQL
PHP与MySQL交互:从入门到实践
【9月更文挑战第20天】在数字时代的浪潮中,掌握PHP与MySQL的互动成为了开发动态网站和应用程序的关键。本文将通过简明的语言和实例,引导你理解PHP如何与MySQL数据库进行对话,开启你的编程之旅。我们将从连接数据库开始,逐步深入到执行查询、处理结果,以及应对常见的挑战。无论你是初学者还是希望提升技能的开发者,这篇文章都将为你提供实用的知识和技巧。让我们一起探索PHP与MySQL交互的世界,解锁数据的力量!
|
3月前
|
关系型数据库 MySQL PHP
PHP和Mysql前后端交互效果实现
本文介绍了使用PHP连接MySQL数据库的基本函数及其实现案例。内容涵盖数据库连接、选择数据库、执行查询、获取结果等常用操作,并通过用户登录和修改密码的功能实例,展示了PHP与MySQL的交互过程及代码实现。
313 0
PHP和Mysql前后端交互效果实现
|
8月前
|
关系型数据库 MySQL Linux
查看Linux、Apache、MySQL、PHP版本的技巧
以上就是查看Linux、Apache、MySQL、PHP版本信息的方法。希望这些信息能帮助你更好地理解和使用你的LAMP技术栈。
420 17
|
前端开发 关系型数据库 MySQL
PHP与MySQL动态网站开发实战指南####
【10月更文挑战第21天】 本文将深入浅出地探讨如何使用PHP与MySQL构建一个动态网站,从环境搭建到项目部署,全程实战演示。无论你是编程新手还是希望巩固Web开发技能的老手,都能在这篇文章中找到实用的技巧和启发。我们将一起探索如何通过PHP处理用户请求,利用MySQL存储数据,并最终呈现动态内容给用户,打造属于自己的在线平台。 ####
553 0
|
9月前
|
关系型数据库 MySQL PHP
源码编译安装LAMP(HTTP服务,MYSQL ,PHP,以及bbs论坛)
通过以上步骤,你可以成功地在一台Linux服务器上从源码编译并安装LAMP环境,并配置一个BBS论坛(Discuz!)。这些步骤涵盖了从安装依赖、下载源代码、配置编译到安装完成的所有细节。每个命令的解释确保了过程的透明度,使即使是非专业人士也能够理解整个流程。
272 18
|
10月前
|
关系型数据库 MySQL 网络安全
如何排查和解决PHP连接数据库MYSQL失败写锁的问题
通过本文的介绍,您可以系统地了解如何排查和解决PHP连接MySQL数据库失败及写锁问题。通过检查配置、确保服务启动、调整防火墙设置和用户权限,以及识别和解决长时间运行的事务和死锁问题,可以有效地保障应用的稳定运行。
411 25
|
SQL 关系型数据库 MySQL
PHP与MySQL的高效交互:从基础到实践####
本文深入探讨了PHP与MySQL数据库之间的高效交互技术,涵盖了从基础连接到高级查询优化的全过程。不同于传统的摘要概述,这里我们直接以一段精简代码示例作为引子,展示如何在PHP中实现与MySQL的快速连接与简单查询,随后文章将围绕这一核心,逐步展开详细讲解,旨在为读者提供一个从入门到精通的实战指南。 ```php <?php // 数据库配置信息 $servername = "localhost"; $username = "root"; $password = "password"; $dbname = "test_db"; // 创建连接 $conn = new mysqli($se
324 31
|
安全 关系型数据库 MySQL
PHP与MySQL动态网站开发实战指南####
——深入探索LAMP栈下的高效数据交互与处理技巧 ####
|
关系型数据库 MySQL PHP
PHP与MySQL动态网站开发实战指南####
深入探索PHP与MySQL的协同工作机制,本文旨在通过一系列实战案例,揭示构建高效、稳定且用户友好的动态网站的秘诀。从环境搭建到数据交互,再到最佳实践分享,本文为开发者提供了一条清晰的学习路径,助力其在LAMP(Linux, Apache, MySQL, PHP/Perl/Python)栈上实现技术飞跃。 ####
|
存储 关系型数据库 MySQL
PHP与MySQL动态网站开发:从基础到实践####
本文将深入探讨PHP与MySQL的结合使用,展示如何构建一个动态网站。通过一系列实例和代码片段,我们将逐步了解数据库连接、数据操作、用户输入处理及安全防护等关键技术点。无论您是初学者还是有经验的开发者,都能从中获益匪浅。 ####