运维自动化之使用PHP+MYSQL+SHELL打造私有监控系统(七)

本文涉及的产品
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介:
X、 create_province.sh脚本内容

 
 
  1. #!binbash  
  2. LANG="zh_CN.UTF-8" 
  3. LANG=C 
  4. #mysql info  
  5. mysql_ip='1.1.1.1' 
  6. ##数据库的ip  
  7. mysql_username='root' 
  8. ##数据库的用户名  
  9. mysql_passwd='****' 
  10. ##数据库的密码  
  11. mysql_database='monitor' 
  12. ##登录的数据库  
  13. new_here='shanxi' 
  14. ##需要添加的省份中文拼音  
  15. new_name='陕西' 
  16. ##需要添加省份的中文名称  
  17. old_here='gansu' 
  18. ##已经添加过省份中文拼音  
  19. old_name='甘肃' 
  20. ##已经添加过的省份中文名字  
  21. memory_table=''$new_here'_memory'  
  22. load_table=''$new_here'_load'  
  23. io_table=''$new_here'_io'  
  24. hardware_table=''$new_here'_hardware'  
  25. message_table=''$new_here'_message'  
  26. user_table=''$new_here'_user'  
  27. disk_table=''$new_here'_disk'  
  28. cpu_table=''$new_here'_cpu'  
  29. service_table=''$new_here'_service'  
  30. monitor_dir='/tmp/monitor' 
  31. ##当前php监控存放的位置  
  32. test_dir='/tmp/old' 
  33. ##如果想添加新省份,临时存放的位置  
  34. #create table module  
  35. create_table ()   
  36. {  
  37. #create table memory  
  38.  mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $memory_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  39. #create table load  
  40. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $load_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  41. #create table io  
  42. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $io_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  43. #create table hardware  
  44. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $hardware_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  45. #create table message  
  46. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $message_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  47. #create table user  
  48. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $user_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  49. #create table disk  
  50. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $disk_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,partition varchar(30) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  51. #create table cpu  
  52. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $cpu_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,alert int(10) not null,value int(10) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  53. #create table service  
  54. mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "create table $service_table(id int(10) not null primary key auto_increment,province varchar(30) not null,server varchar(30) not null,ip varchar(20) not null,monitor_server varchar(30) not null,service varchar(20) not null,status varchar(10) not null,date datetime)ENGINE=InnoDB DEFAULT CHARSET=utf8;"  
  55. }  
  56. #create test directory  
  57. if [ ! -d "$test_dir" ];then   
  58.         /bin/mkdir $test_dir  
  59. fi   
  60. #mondiy monitor software module  
  61. mondiy_software ()  
  62. {  
  63. #copy monitor province software  
  64. /usr/bin/rsync -avz $monitor_dir/*$old_here* $test_dir/ >>/dev/null 2>&1  
  65. cd $test_dir  
  66. #rename old_name to here_name  
  67. /usr/bin/rename $old_here $new_here *  
  68. #mondiy old_here and old_name  
  69. sed -i 's/'$old_here'/'$new_here'/g' *$new_here*  
  70. sed -i 's/'$old_name'/'$new_name'/g' *$new_here*  
  71. #mondiy province.php   
  72. sed -i 's/<\/b>/ | <a href="'$new_here'.php">'$new_name'<\/a><\/b>/' $monitor_dir/province.php  
  73. #mondiy warn_province.php   
  74. sed -i 's/<\/b>/ | <a href="'$new_here'_warn.php">'$new_name'<\/a><\/b>/' $monitor_dir/warn_province.php   
  75. #mondiy view_day_province.php   
  76. sed -i 's/<\/b>/ | <a href="'$new_here'_day_view.php">'$new_name'<\/a><\/b>/' $monitor_dir/view_day_province.php   
  77. #mondiy view_month_province.php  
  78. sed -i 's/<\/b>/ | <a href="'$new_here'_month_view.php">'$new_name'<\/a><\/b>/' $monitor_dir/view_month_province.php  
  79. #mondiy view_year_province.php  
  80. sed -i 's/<\/b>/ | <a href="'$new_here'_year_view.php">'$new_name'<\/a><\/b>/' $monitor_dir/view_year_province.php  
  81. #copy test_dir to monitor_dir  
  82. /usr/bin/rsync -avz $test_dir/*$new_here* $monitor_dir/ >>/dev/null 2>&1  
  83. #delete test_dir file  
  84. /bin/rm -rf $test_dir/*$new_here*  
  85. }  
  86. #check table is or not exist  
  87. /usr/bin/mysql -h $mysql_ip -u$mysql_username -p$mysql_passwd $mysql_database -e "desc $io_table">>/dev/null 2>&1  
  88. if [ $? -eq 0 ];then  
  89. echo "$io_table is exist!"  
  90. else  
  91. echo "$io_table is not exist!"  
  92. echo "Do you want to create $new_here table?If you want to create $new_here table,please input:(yes|no)"  
  93. read -t 30 -p "Please input you choose:" choose  
  94. case $choose in  
  95.         yes|y)  
  96.                 echo "Now start creaet $new_here table......"  
  97.                 create_table  
  98.         echo "$new_here table crease finish!"  
  99.         echo "Now start to mondiy monitor software......"  
  100.         mondiy_software  
  101.         echo "$new_name has been added monitor software!"  
  102.                 ;;  
  103.         no|n)  
  104.                 echo "Your choose is no,so we will to exit!"  
  105.                 exit  
  106.                 ;;  
  107.         *)  
  108.                 echo "please input:(yes|no)"  
  109.                 ;;  
  110. esac  
  111. fi  
Y、数据视图化 shell脚本
每个省份都是单独的一个 shell脚本,脚本里包含各种省份以年、月、日为时间,以web、交换、引擎、备用、数据库为服务器类型,以disk、io、load、memory、user为视图化的服务。
下面是甘肃省份的数据视图化脚本,名字为 gansu.sh,运行在php程序的images文件里,使用nohup sh gansu.sh &运行
由于脚本内容非常的多,在word里超过200页,所以就不展示了,脚本我会放到最后一页的附件里。
7 、如何部署
1)、shell监控脚本部署
shell监控脚本存放到/usr/local/monitor/shell目录,给予755权限,然后再crontab里输入*/3 * * * * /usr/local/monitor/shell/脚本内容,使每3分钟轮询运行脚本。
2)mysql数据库部署
可以使用 create_database.sh脚本进行部署,也可以使用create_province.sh脚本部署。
3)php程序部署
先把 php程序部署到服务器里,然后添加省份的时候,使用create_province.sh来进行添加,方法为:
1、使用 sh create_province.sh运行脚本
2、如果添加脚本在数据库里数据库表存在,就会出现以下情况

如果不存在

你可以输入 yes或no来选择是否创建数据库表与进行添加相应省份的php文件(注意只有10秒钟的等待时间,为了节省服务器资源,我使用了read -n参数)
输入完 yes后,结果如下

可以看到数据库表创建完成, php监控的省份添加完成
之后你在 web里就能直接观看添加省份的监控
添加省份的数据视图化的 shell文件,可以使用create_gnuplot.sh来进行添加,内容如下

 
 
  1. #!/bin/bash  
  2. old_dir='/tmp/old_dir' 
  3. ##当前已经存在的数据实体化脚本目录  
  4. new_dir='/tmp/new_dir' 
  5. ##临时存放省份的数据实体化脚本目录  
  6. if [ ! -d "$new_dir" ];then  
  7.         mkdir $new_dir  
  8. fi  
  9. for i in gansu tianjin guangxi guizhou hainan hebei hunan qinghai xinjiang henan xizang baotou hubei jiangxi ningxia shanxi  
  10. ##在这里输入你想添加省份的中午拼音  
  11. do  
  12. ls $i.sh>>/dev/null 2>&1  
  13. if  [ $? -eq 0 ];then  
  14.         echo "$i.sh is exist!"  
  15. else  
  16.         echo "$i.sh is not exist!"  
  17.         echo "Start to create $i.sh..."  
  18. /usr/bin/rsync -avz $old_dir/gansu.sh $new_dir/$i.sh>>/dev/null 2>&1  
  19. sed -i 's/gansu/'$i'/g' $new_dir/$i.sh  
  20. /usr/bin/rsync -avz $new_dir/$i.sh $old_dir/$i.sh>>/dev/null 2>&1  
  21. fi  
  22. done  
8 、维护与升级
1 、维护
        由于采用了时间方法的日志分钟,每3分钟检测一次 ,所以日常维护非常的方便,只要各位在目录的logs里,查看到有当天日志文件产生,在查看当天日志文件是否为每3分钟检测一次,如果满足上述条件,则此脚本正常运行。
2 、升级
        在升级的时候,为了避免部署新的程序时监控系统检测不到相应的应用服务,而且还收到了服务宕掉的邮件提示,各位在部署新程序时,应在相应用户里(部署监控系统crontab -e所在的用户)里,在监控系统自动启动检测的那一行里,在前面加上#,例如,在交换服务器里部署新的程序,需要在root用户下,输入crontab -e,然后在 */3 * * * * /usr/local/monitor/shell/ 监控脚本内容的最前面,加上#,最后的结果为#*/3 * * * * /usr/local/monitor/shell/监控脚本。
9 、完整监控系统页面展示
1)shell部分
各省都有各自的 shell监控脚本,我以甘肃web为例

2)mysql数据库部分
我截图所有 mysql数据表

3)php程序部分
由于在首页里已经有了php界面展示,所以现在就不展示了。
现在这个php+mysql+shell已经成功的对生产平台监控了3个月,符合我之前的监控要求,能节省我更多的时间去做更多有用的事,现在查看平台也不需要在进入后台一个一个的查看了,可以查看各省的监控详情与监控视图,更方便的了解平台应用服务与资源的运行情况,希望我这个监控系统能对大家有更好的启发,如果您有疑问或者好的观点,希望您能留言给我,谢谢!


 本文转自 reinxu 51CTO博客,原文链接:http://blog.51cto.com/dl528888/1035335,如需转载请自行联系原作者



相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
相关文章
|
7月前
|
人工智能 运维 关系型数据库
数据库运维:mysql 数据库迁移方法-mysqldump
本文介绍了MySQL数据库迁移的方法与技巧,重点探讨了数据量大小对迁移方式的影响。对于10GB以下的小型数据库,推荐使用mysqldump进行逻辑导出和source导入;10GB以上可考虑mydumper与myloader工具;100GB以上则建议物理迁移。文中还提供了统计数据库及表空间大小的SQL语句,并讲解了如何使用mysqldump导出存储过程、函数和数据结构。通过结合实际应用场景选择合适的工具与方法,可实现高效的数据迁移。
1329 1
|
4月前
|
关系型数据库 MySQL PHP
PHP和Mysql前后端交互效果实现
本文介绍了使用PHP连接MySQL数据库的基本函数及其实现案例。内容涵盖数据库连接、选择数据库、执行查询、获取结果等常用操作,并通过用户登录和修改密码的功能实例,展示了PHP与MySQL的交互过程及代码实现。
360 0
PHP和Mysql前后端交互效果实现
|
3月前
|
存储 监控 算法
基于 PHP 布隆过滤器的局域网监控管理工具异常行为检测算法研究
布隆过滤器以其高效的空间利用率和毫秒级查询性能,为局域网监控管理工具提供轻量化异常设备检测方案。相比传统数据库,显著降低延迟与资源消耗,适配边缘设备部署需求,提升网络安全实时防护能力。(238字)
190 0
|
10月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
8月前
|
监控 算法 安全
基于 PHP 的员工电脑桌面监控软件中图像差分算法的设计与实现研究
本文探讨了一种基于PHP语言开发的图像差分算法,用于员工计算机操作行为监控系统。算法通过分块比较策略和动态阈值机制,高效检测屏幕画面变化,显著降低计算复杂度与内存占用。实验表明,相比传统像素级差分算法,该方法将处理时间缩短88%,峰值内存使用量减少70%。文章还介绍了算法在工作效率优化、信息安全防护等方面的应用价值,并分析了数据隐私保护、算法准确性及资源消耗等挑战。未来可通过融合深度学习等技术进一步提升系统智能化水平。
136 2
|
9月前
|
关系型数据库 MySQL Linux
查看Linux、Apache、MySQL、PHP版本的技巧
以上就是查看Linux、Apache、MySQL、PHP版本信息的方法。希望这些信息能帮助你更好地理解和使用你的LAMP技术栈。
472 17
|
9月前
|
SQL Oracle 关系型数据库
在MySQL Shell里 重启MySQL 8.4实例
在MySQL Shell里 重启MySQL 8.4实例
301 2
|
9月前
|
存储 监控 算法
单位电脑监控软件中 PHP 哈希表算法的深度剖析与理论探究
数字化办公的时代背景下,单位电脑监控软件已成为企业维护信息安全、提升工作效率的关键工具。此类软件可全面监测员工的电脑操作行为,收集海量数据,故而高效管理和处理这些数据显得尤为重要。数据结构与算法在此过程中发挥着核心作用。本文将聚焦于哈希表这一在单位电脑监控软件中广泛应用的数据结构,并通过 PHP 语言实现相关功能,为优化单位电脑监控软件提供技术支持。
164 3
|
10月前
|
关系型数据库 MySQL PHP
源码编译安装LAMP(HTTP服务,MYSQL ,PHP,以及bbs论坛)
通过以上步骤,你可以成功地在一台Linux服务器上从源码编译并安装LAMP环境,并配置一个BBS论坛(Discuz!)。这些步骤涵盖了从安装依赖、下载源代码、配置编译到安装完成的所有细节。每个命令的解释确保了过程的透明度,使即使是非专业人士也能够理解整个流程。
311 18
|
9月前
|
存储 监控 算法
论内网电脑监控软件中 PHP 哈希表算法的深度剖析与探究
当代企业网络管理体系中,内网电脑监控软件占据着关键地位。其功能涵盖对员工电脑操作行为的实时监测,以此维护企业信息安全,同时助力企业优化网络资源配置,提升整体工作效能。在构建内网电脑监控软件的诸多技术中,数据结构与算法构成了核心支撑体系。本文聚焦于哈希表这一重要数据结构,深入剖析其在 PHP 语言环境下,如何为内网电脑监控软件的高效运作提供助力,并通过详实的代码示例予以阐释。
171 3