结合saltstack打造mysql dba数据库运维平台化salt-api接口

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用系列 2核4GB
简介:

前言:

        这些日子两个项目齐头并进,按部就班的走,对于saltstack在开发中的经验,越发的丰富。

       希望这个mysql自动化运维项目能让自己更加dba。。。 和dba这帮人混了半个月,碉堡了,数据在他们手里玩得很转悠 ~ 


要实现的功能:


全网mysql的复制情况监控!  对于主从复制的同步的准确性,以及延迟对比。

使用saltstack api完成,可主动监控和被动监控,对于同步的准确性是靠一个虚拟的时间表来算时差的。


全网mysql的备份情况监控!  备份数据,而且上传到存储节点。

这边用的saltstack的jid来异步的执行任务,封装了一个rsync的模块进行上传。


全网mysql的存储文件大小!  备份文件检测,及空间大小监控。

借助zabbix的处罚报警,在zabbix里面参杂一个web hook的回调


关于mysql的可实时监控数据! 利用salt-api进行查看qps 速度 连接等相关信息的查看。

还是用saltstack 的模块执行,对于执行结果慢的结果,可以用returners组建实现消息的存储


对于读性能不行的mysql,记录慢查询语句,上报到通知平台。


对于mysql各种出错的问题进行,收集日志,并尝试解决。


运维平台直接操作业务部过来的sql语句,首先在预环境下测试,通过后,再流转到线上运维。


部署从服务器,及平台修改从服务器。


通过clusterops接口部署mysql需要的lvs及drbd环境。


mysql系统级别的监控,从zabbix获取该mysql的所有监控信息。


已经实现了部分功能,正在努力写码中!


具体的功能实现我就不不多说了,因为我也没有想到和做到那里,这里只要是给大家讲讲关于mysql运维平台的一些个思路。


这边是我实现的一个类似demo的半成品,要上线的话,还是要做大量的测试的。


原文:http://rfyiamcool.blog.51cto.com/1030776/1369237

wKiom1MUpGOQhYnCAAXFp2W9KpE342.jpg




 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1369237,如需转载请自行联系原作者


相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
1月前
|
运维 监控 关系型数据库
数据库管理中的自动化运维:挑战与解决方案
数据库管理中的自动化运维:挑战与解决方案
|
6月前
|
SQL 运维 关系型数据库
MySQL数据库运维第一篇(日志与主从复制)
MySQL数据库运维第一篇(日志与主从复制)
|
2月前
|
运维 关系型数据库 MySQL
运维|MySQL 数据库被黑,心力交瘁
前一阵有一个测试用的 MySQL 数据库被黑了,删库勒索的那种,这里记录一下事情经过,给自己也敲个警钟。
44 2
|
2月前
|
SQL JavaScript 关系型数据库
node博客小项目:接口开发、连接mysql数据库
【10月更文挑战第14天】node博客小项目:接口开发、连接mysql数据库
|
2月前
|
SQL 运维 关系型数据库
MySQL 运维 SQL 备忘
MySQL 运维 SQL 备忘录
52 1
|
4月前
|
存储 运维 监控
数据库服务器运维最佳实践
【8月更文挑战第22天】
84 2
数据库服务器运维最佳实践
|
4月前
|
缓存 NoSQL 数据库
救命!DBA找上门了,数据库cpu飙到60%
这篇文章讲述了作者如何通过优化数据库查询和引入二级缓存架构,成功解决了数据库CPU使用率规律性飙升的问题,提高了系统稳定性。
救命!DBA找上门了,数据库cpu飙到60%
|
4月前
|
缓存 运维 监控
打造稳定高效的数据引擎:数据库服务器运维最佳实践全解析
打造稳定高效的数据引擎:数据库服务器运维最佳实践全解析
|
4月前
|
存储 消息中间件 运维
SaltStack:自动化运维的终极武器,让繁琐工作化为乌有!
【8月更文挑战第9天】SaltStack是一款强大的自动化运维工具,适用于配置管理、远程执行及云服务管理。基于Python开发,利用ZeroMQ实现高效通信。其架构包括Master(管理中心)、Minion(代理端)及Pillar(数据存储)。在Linux平台上安装简便,通过简单的配置即可实现Master与Minion间的通信。SaltStack的核心功能之一是State System,可通过YAML编写的State文件自动化配置管理任务,如软件包安装等。此外,还支持多种执行模块和精细权限控制,有效提升运维效率。
87 5
|
4月前
|
存储 SQL 运维
运维开发.MySQL.范式与反范式化
运维开发.MySQL.范式与反范式化
64 1

推荐镜像

更多