运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(一)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

前言

记得刚来这家公司的时候,我部门就我一个运维工程师,然后就是经理,刚开始公司平台什么监控都没有,在我与经理的努力下,先搭建nagios+cacti监控平台,后来随着公司业务的增加,平台的功能与服务也不断的扩展,nagios+cacti监控不太适合平台的需要,为了解决此问题我就使用shell来搭建了脚本监控系统,根据平台的应用服务需求与领导要求,使用shell的脚本监控系统监控整个平台的运行情况,但随着公司业务的扩大,平台数量的增加,服务器的数量也随之增加,从以前的30台变为现在的120台左右,之前的shell脚本监控系统虽然能够顺利的监控平台的运行情况,但在日常服务器巡检的时候没有什么便利,我这里管理很严格,每天9、13、17都需要对平台进行一下巡检,服务器少的时候还好说,但120台巡检就是个噩梦,为了美好的生活,我决定使用自己设计一个新的监控系统,主要是能在服务器端,使用shell脚本监控继续的监控平台运气情况,使用mysql数据库记录监控数据,使用php设计一个web平台,能在web里展示这些服务器的监控数据,经过2个月的努力,我独自一人的完成了这项任务,经过3个月的试运行与生产环境的测试,成功的完成了我之前的需求,使我的时间变的更充裕,不必把时间浪费到日常巡检里,当然也有副作用,就是每天什么事都没有,实在太闲了(主要是我在搭建shell监控的时候,如果发现有服务宕掉,就根据错误代码自动的解决这个问题并重启服务,所以每天实在很闲)。

由于本监控系统我本人独立自主开发,所以具有决定本监控系统是否开源的权利,为了发展开源精神,我决定把本分布式监控系统open source,借此向开源致敬。其中php程序与shell脚本已经放到最后一页,也就是第七页,希望本文对各位如何的搭建分布式私有监控系统能有更多的启发,也希望各位同仁能多提意见,谢谢!

闲话不说,下面是我的“运维自动化之PHP+MYSQL+SHELL监控系统”的界面展示。

为了方便大家的理解,我画了一个php+mysql+shell的流程图

 

 本监控系统的流程为(部署的顺序是从右到左):

1 、需要在各省的机房里的所有服务器安装shell监控脚本,然后把监控服务与资源的数据写入到mysql数据库里;
2 mysql收到各省服务器发送的监控数据,把他们按照先前定义的数据表分别的存储起来;
3 php程序按照之前编辑好的显示方式,从mysql数据库里提前相应的数据,在web端显示,同时在部署php程序的images目录里,运行数据视图化脚本,生成各省监控的数据资源图;
4 、用户可以通过web来浏览监控服务与资源的数据、资源的监控数据图。


 由于本文文章与代码描述过多,所以分成7篇文章,下面是文章网页地图。

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(一)

http://dl528888.blog.51cto.com/2382721/1034992

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(二)

http://dl528888.blog.51cto.com/2382721/1035131

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(三)

http://dl528888.blog.51cto.com/2382721/1035142

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(四)

http://dl528888.blog.51cto.com/2382721/1035145

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(五)

http://dl528888.blog.51cto.com/2382721/1035252

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(六)

http://dl528888.blog.51cto.com/2382721/1035297

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(七)

http://dl528888.blog.51cto.com/2382721/1035335

1 、先查看资产管理

资产管理下面有 2个功能,一个是 新增的设备,一个是浏览设备
新增设备

可以增加以上的内容
浏览设备

可以展示之前添加的内容,是从数据库的 device表里获得数据
2 、监控详情
此页面里展示了所以的监控省份

比如我监控的省份就有甘肃、天津、广西、贵州、海南、河北、湖南、青海、新疆、河南、西藏、包头、湖北、江西、宁夏、陕西工 16个省份,每个省份5台服务器,共计80个服务器,目前还在继续添加服务器,预计半个月后,监控的服务器会增加到105个。
下面我们以天津为例
A 、应用服务监控详情

 

以上监控,显示的是应用服务的监控主要显示的内容是通过 shell脚本监控的,通过shell写入到mysql,然后php通过设置好的表单来进行展示来自mysql的数据。
B 、硬盘使用率监控详情

C cpu使用率监控详情

D 、硬件信息错误监控详情

E I/O使用率监控详情

F 15分钟内的负载

G 、内存使用率监控详情

H 、日志错误信息监控详情

I 、用户登录数监控详情

3 、当日报警
以天津为例

可以看到天津今天只有内存报警
4 、监控视图

可以看到监控视图有 3种,分别有日、月、年的,下面我们分别的查看一下
A 、当日报警,以新疆数据库为例
1)新疆数据库的硬盘使用率

2)新疆数据库的cpu使用率

3)新疆数据库的io使用率

4)新疆数据库的load使用率
5)新疆数据库的内存使用率

6)新疆数据库的用户登录数

以上为什么在hour为13,是因为我设置的hour为当前时间的,比如当前为2012年10月23日13:49分,那么当前的hour为13.而右上角的2行文字内容是:

2012 10月23日,database数据库的用户登录不正常的使用红色线表示
 

2012 10月23日,database数据库的用户登录正常的使用绿色线表示
 
B 、当月报警,以湖南引擎为例
1)湖南引擎的硬盘使用率

2)湖南引擎的cpu使用率

 
3)湖南引擎的io使用率

4)湖南引擎的load使用率

5)湖南引擎的内存使用率

6)湖南引擎的用户登录数

注意,month(31)是本月有多少天,通过shell脚本进行计算的。
C 、当年报警,以贵州引擎为例
1)贵州引擎的cpu使用率
2)贵州引擎的cpu使用率

3)贵州引擎的io使用率

4)贵州引擎的load使用率

5)贵州引擎的内存使用率

6)贵州引擎的用户登录数

5、邮件接收的shell报警截图

挑选几个真实的服务器报警给大家展示一下shell脚本监控服务器的报警系统。

A 、服务宕掉的报警

 

B hardware硬件错误信息报警

Cload负载报警

D、内存报警

Eswap报警

由于本文文字与脚本内容过多,超过每篇8万字的限制,所以不得不分成多篇博文,尽请见谅。

下一篇文章地址:

运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(二)

http://dl528888.blog.51cto.com/2382721/1035131

BTW:如果大家认为我写的不错,希望能给我的博客投个票,谢谢!

http://blog.51cto.com/contest2012/2382721





 本文转自 reinxu 51CTO博客,原文链接:http://blog.51cto.com/dl528888/1034992,如需转载请自行联系原作者



相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
消息中间件 缓存 弹性计算
纯PHP+MySQL手搓高性能论坛系统!代码精简,拒绝臃肿
本内容分享了一套经实战验证的社交系统架构设计,支撑从1到100万用户的发展,并历经6次流量洪峰考验。架构涵盖客户端层(App、小程序、公众号)、接入层(API网关、负载均衡、CDN)、业务服务层(用户、内容、关系、消息等服务)、数据层(MySQL、Redis、MongoDB等)及运维监控层(日志、监控、告警)。核心设计包括数据库分库分表、多级缓存体系、消息队列削峰填谷、CQRS模式与热点数据动态缓存。同时提供应对流量洪峰的弹性伸缩方案及降级熔断机制,并通过Prometheus实现全链路监控。开源建议结构清晰,适合大型社交平台构建与优化。
126 11
|
2月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
29天前
|
关系型数据库 MySQL Linux
CentOS 7系统下详细安装MySQL 5.7的步骤:包括密码配置、字符集配置、远程连接配置
以上就是在CentOS 7系统下安装MySQL 5.7的详细步骤。希望这个指南能帮助你顺利完成安装。
263 26
|
20天前
|
SQL Oracle 关系型数据库
在MySQL Shell里 重启MySQL 8.4实例
在MySQL Shell里 重启MySQL 8.4实例
42 2
|
1月前
|
Ubuntu 关系型数据库 MySQL
在Ubuntu系统的Docker上安装MySQL的方法
以上的步骤就是在Ubuntu系统的Docker上安装MySQL的详细方法,希望对你有所帮助!
153 12
|
1月前
|
存储 监控 算法
单位电脑监控软件中 PHP 哈希表算法的深度剖析与理论探究
数字化办公的时代背景下,单位电脑监控软件已成为企业维护信息安全、提升工作效率的关键工具。此类软件可全面监测员工的电脑操作行为,收集海量数据,故而高效管理和处理这些数据显得尤为重要。数据结构与算法在此过程中发挥着核心作用。本文将聚焦于哈希表这一在单位电脑监控软件中广泛应用的数据结构,并通过 PHP 语言实现相关功能,为优化单位电脑监控软件提供技术支持。
42 3
|
1月前
|
存储 监控 算法
论内网电脑监控软件中 PHP 哈希表算法的深度剖析与探究
当代企业网络管理体系中,内网电脑监控软件占据着关键地位。其功能涵盖对员工电脑操作行为的实时监测,以此维护企业信息安全,同时助力企业优化网络资源配置,提升整体工作效能。在构建内网电脑监控软件的诸多技术中,数据结构与算法构成了核心支撑体系。本文聚焦于哈希表这一重要数据结构,深入剖析其在 PHP 语言环境下,如何为内网电脑监控软件的高效运作提供助力,并通过详实的代码示例予以阐释。
40 3
|
2月前
|
存储 监控 算法
基于 PHP 语言的滑动窗口频率统计算法在公司局域网监控电脑日志分析中的应用研究
在当代企业网络架构中,公司局域网监控电脑系统需实时处理海量终端设备产生的连接日志。每台设备平均每分钟生成 3 至 5 条网络请求记录,这对监控系统的数据处理能力提出了极高要求。传统关系型数据库在应对这种高频写入场景时,性能往往难以令人满意。故而,引入特定的内存数据结构与优化算法成为必然选择。
40 3
|
3月前
|
人工智能 JavaScript 关系型数据库
【02】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-ui设计图figmaUI设计准备-figma汉化插件-mysql数据库设计-优雅草卓伊凡商业项目实战
【02】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-ui设计图figmaUI设计准备-figma汉化插件-mysql数据库设计-优雅草卓伊凡商业项目实战
143 14
【02】Java+若依+vue.js技术栈实现钱包积分管理系统项目-商业级电玩城积分系统商业项目实战-ui设计图figmaUI设计准备-figma汉化插件-mysql数据库设计-优雅草卓伊凡商业项目实战
|
3月前
|
监控 算法 安全
关于公司电脑桌面监控中 PHP 二叉搜索树算法的深度剖析
在现代企业管理中,公司电脑桌面监控系统通过二叉搜索树(BST)算法保障信息安全和提高效率。本文探讨PHP中的BST在监控场景的应用,包括节点定义、插入与查找操作,并展示如何管理时间戳数据,以快速查询特定时间段内的操作记录。BST的高效性使其成为处理复杂监控数据的理想选择。
37 2

热门文章

最新文章