开发者社区> 余二五> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

数据库备份导致的zabbix_server大量告警的问题排查

简介:
+关注继续查看

问题:

每天在915分左右,运维人员会收到大量的zabbix_server报警邮件,提示 "PROBLEM: Zabbix agent on XXX is unreachable for 5 minutes"

排查过程:

9点之前的系统运行状态开始查起。

1、查看9点左右的zabbix_server.log。没有发现异常。

2、在zabbix server上写了一个计划任务 56 8 * * * /bin/ping one_agent_IP>> /tmp/net_status.log  

通过ping agent端的ip,判断是否网络抖动导致agent unreachable的。

但是,第二天/tmp/net_status_log的日志显示ping没有丢包问题。排除了网络抖动问题。

3、查看9点左右的计划任务,发现9点时候在执行了一个backup.sh,看到里面mysqldump的备份参数如下:

mysqldump --forc--opt -uxxx -pxxx  zabbix | gzip > xxxx.sql.gz

至此,可以基本判断是这个备份数据库操作导致的zabbixserver告警。


原因:

这里先看下上面mysqldump的几个参数,

  --opt        Same as --add-drop-table,--add-locks, --create-options,

               --quick,--extended-insert, --lock-tables,--set-charset,

               and --disable-keys.Enabled by default, disable with

               --skip-opt.

 

  -f, --force      Continue even if we get an SQL error.

 

其中,--opt里面包含了一堆的参数,这里最关键的是 --lock-tablesmysql5.6官方手册上的解释如下:

--lock-tables, -l

For eachdumped database, lock all tables to be dumped before dumping them. The tablesare

lockedwith READ LOCAL to permit concurrent inserts in the case of MyISAM tables. For transactional

tables such as InnoDB,--single-transaction is a much better option than --lock-tables

because it does not need tolock the tables at all.

Because--lock-tables locks tables for each database separately, this option does notguarantee

that thetables in the dump file are logically consistent between databases. Tables indifferent

databasesmay be dumped in completely different states.

Someoptions, such as --opt, automatically enable --lock-tables. If you want tooverride this,

use--skip-lock-tables at the end of the option list.

 

官方建议在InnoDB存储引擎时候,使用 --single-transaction,而不要用 --lock-tables,因为--lock-tables会造成锁表的问题。

 

在搭配--single-transaction 参数后,会在FLUSH TABLES WITH READ LOCK 后添加START TRANSACTION 语句,将事务的隔离级别设置为REPEATABLE READ ,这个时候的加锁,仅仅是为了确定master-data中的binlog的具体位置和开启事务,开启事务后,就已经把读锁释放了,而且在由日志可以看出,在日志的回滚过程中,是回滚到单一的TRANSACTION,也是sp点,每次进行对表和参数的改动后,都会对事务进行回滚。通过对备份log的分析,可以发现,所有的的备份阶段完成后,都是rollback到sp点的。也就是返回到SAVEPOINT sp时间点,也就是备份完成后,实际上备份库仍然是在sp点,而这个所谓的sp回滚,其实是调用的undo中的数据快照来实现的。(就是说9点钟执行的备份,最终我们备份出的数据就是9点的数据,备份过程中数据的变化不会写入到备份文件里)。

 

如下图是执行 mysqldump -q --single-transaction -B zabbix > test.sql 时候的mysql的general log日志。

wKiom1gZkk_zzbqeAAC12TrtUnI370.png


 

备份时候,使用了--opt参数会暂时锁表,zabbix_agent收集到的数据无法及时写入数据库,zabbix_server在长时间没有发现收集到agent的数据,就会触发告警。

 

我们只要改下备份的参数即可,mysqldump -uxx -pxx -f -q--single-transaction -B zabbix | gzip > xxxx.sql.gz

 

 

另外,对于Innodb存储引擎的表,建议在使用mysqldump备份时候都要加上 -q --single-transaction 参数。










本文转自 lirulei90 51CTO博客,原文链接:http://blog.51cto.com/lee90/1868501,如需转载请自行联系原作者

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SQL Server中收缩、清空和删除数据库文件及日志文件
一、简单方法 –SQL Server收缩方法 1、右键数据库→属性→选项→故障还原模型→设为简单→确定; 2、右键数据库→所有任务→收缩数据库→确定; 3、右键数据库→属性→选项→故障还原模型→设为大容量日志记录→确定。
4793 0
清空SQL Server数据库中所有表数据的方法
原文: 清空SQL Server数据库中所有表数据的方法 其实删除数据库中数据的方法并不复杂,为什么我还要多此一举呢,一是我这里介绍的是删除数据库的所有数据,因为数据之间可能形成相互约束关系,删除操作可能陷入死循环,二是这里使用了微软未正式公开的sp_MSForEachTable存储过程。
766 0
+关注
20377
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载