1. MySQL server的binlog清理
1.1 使用MySQL参数控制
-
expire_logs_days
- 设置二进制日志的过期天数，过了指定天数的日志将被自动删除，可动态修改
- 如果设置了非0值，则在mysqld启动和日志刷新时，可能执行清理超过定义天数的binlog file
- 全局变量，动态变量，默认值为0（代表不会自动清理binlog），整型值，取值范围为0~99
自动清理的具体实现是：当binlog文件达到 max_binlog_size自动切换或者手动切换（flush）或者MySQL启动（startup）时，会遍历index文件，找到第一个“最后修改时间”在N天内的binlog文件，然后将该binlog文件之前的所有binlog文件删除掉。
1.2 手动purge清理
通常手动清理binlog是使用MySQL提供的purge命令。purge命令的定义如下：
purge {binary | master} logs to "binlog-file-name"
purge {binary | master} logs before "datetime-expr"其中第一种形式的purge命令的作用是将binlog-file-name之前的（不包括自己本身）所有binlog文件清理掉，而第二种形式的purge命令的作用是将最后修改时间早于datetime-rxpr的binlog文件清理掉（不包括自己）。
mysql> show binary logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000006 | 1215598 |
| mysql-bin.000007 | 20380128 |
| mysql-bin.000008 | 57424 |
| mysql-bin.000009 | 1861624 |
+------------------+-----------+
4 rows in set (0.03 sec)
mysql> PURGE BINARY LOGS TO 'mysql-bin.000007';
Query OK, 0 rows affected (0.06 sec)
mysql> show binary logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000007 | 20380128 |
| mysql-bin.000008 | 57424 |
| mysql-bin.000009 | 1870354 |
+------------------+-----------+
3 rows in set (0.02 sec)
mysql> select now();
+---------------------+
| now() |
+---------------------+
| 2019-04-11 12:32:31 |
+---------------------+
1 row in set (0.00 sec)
mysql> PURGE BINARY LOGS BEFORE '2019-04-11 12:32:31';
Query OK, 0 rows affected, 1 warning (0.11 sec)
Warning (Code 1868): file /var/lib/mysql/archive/mysql-bin.000009 was not purged because it is the active log file.
mysql> show binary logs;
+------------------+-----------+
| Log_name | File_size |
+------------------+-----------+
| mysql-bin.000009 | 1888784 |
+------------------+-----------+
1 row in set (0.00 sec)1.3 脚本清理
按binlog保留个数持续清理
#!/bin/bash
# binlog index文件路径和名称
binlog_index_name=/var/lib/mysql/archive/mysql-bin.index
# 需要保留的binlog个数
reserve_num=10
# 执行检查间隔，循环检查，发现在该参数指定的时间间隔内有超过reserve_num参数指定的binlog个数，即执行删除，否则等待下一次检查
check_interv=60
# 单个文件删除间隔，在reserve_num参数指定的间隔内发现binlog数量超过reserve_num参数指定的数量就会执行删除，在有多个文件需要删除时，按照rm_interv参数指定的时间间隔逐个删除文件
rm_interv=0
# 执行日志
log_file=/tmp/`basename $0`.log
rm -f $log_file
# 执行清理binlog函数
exec_purge_binlog() {
total_num=`sed -n '$=' $binlog_index_name`
let purge_num=${total_num}-${reserve_num}
if [ "$purge_num" -gt "0" ];then
purge_files=(`sed -n "1,${purge_num}p" $binlog_index_name`)
start_file=$(basename $(sed -n '1p' $binlog_index_name))
end_file=$(basename $(sed -n "${purge_num}p" $binlog_index_name))
echo
echo '=================================================================================================================================='
echo "发现有需要清理的binlog：binlog文件总个数：${total_num}，需要保留文件个数：${reserve_num}，需要清理的文件个数：${purge_num}，将执行清理的文件名称范围：${start_file}-${end_file}"
echo "---------------------------`date`----------------------------------正在执行binlog的清理"
i=0
for purge_file in "${purge_files[@]}"
do
echo
echo "正在清理binlog文件：${purge_file} ----------------------`date`-----------------"
\rm -f "$purge_file"
sleep "$rm_interv"
let i++
echo "完成清理binlog文件：${purge_file} 时间：`date`，标文件名：${end_file}，目标文件数：${purge_num}，已清理文件个数：${i}"
done
sed -i "1,${purge_num}d" $binlog_index_name
echo "本次清理binlog执行完成------------------`date`--------------------"
else
echo
echo '=================================================================================================================================='
echo "本次未检测到需要清理的binlog，等待下次执行检查中......"
fi
}
# 执行函数调用
if [ ! -f "$binlog_index_name" ];then
echo "警告，指定的binlog index文件不存在，脚本退出！！" |tee -a $log_file
exit 1
else
while :
do
exec_purge_binlog |tee -a $log_file
sleep "$check_interv"
done
fi2. MySQL binlog server的binlog脚本清理
#!/bin/bash
# binlog server文件路径和名称
binlog_dir=/opt/backup/binlog/
# 需要保留的binlog个数
reserve_num=10
# 执行检查间隔，循环检查，发现在该参数指定的时间间隔内有超过reserve_num参数指定的binlog个数，即执行删除，否则等待下一次检查
check_interv=60
# 单个文件删除间隔，在reserve_num参数指定的间隔内发现binlog数量超过reserve_num参数指定的数量就会执行删除，在有多个文件需要删除时，按照rm_interv参数指定的时间间隔逐个删除文件
rm_interv=0
# 执行日志
log_file=/tmp/`basename $0`.log
rm -f $log_file
# 执行清理binlog函数
exec_purge_binlog() {
total_num=`ls $binlog_dir | wc -l`
let purge_num=${total_num}-${reserve_num}
if [ "$purge_num" -gt "0" ];then
purge_files=(`ls $binlog_dir | sort -k2 | head -$purge_num`)
start_file=(`head -1 $purge_files 2>/dev/null`)
end_file=(`tail -1 $purge_files 2>/dev/null`)
echo
echo '=================================================================================================================================='
echo "发现有需要清理的binlog：binlog文件总个数：${total_num}，需要保留文件个数：${reserve_num}，需要清理的文件个数：${purge_num}，将执行清理的文件名称范围：${start_file}-${end_file}"
echo "---------------------------`date`----------------------------------正在执行binlog的清理"
i=0
for purge_file in "${purge_files[@]}"
do
echo
echo "正在清理binlog文件：${purge_file} ----------------------`date`-----------------"
\rm -f "$binlog_dir$purge_file"
sleep "$rm_interv"
let i++
echo "完成清理binlog文件：${purge_file} 时间：`date`，标文件名：${end_file}，目标文件数：${purge_num}，已清理文件个数：${i}"
done
echo "本次清理binlog执行完成------------------`date`--------------------"
else
echo
echo '=================================================================================================================================='
echo "本次未检测到需要清理的binlog，等待下次执行检查中......"
fi
}
# 执行函数调用
if [ ! -d "$binlog_dir" ];then
echo "警告，指定的binlog文件不存在，脚本退出！！" |tee -a $log_file
exit 1
else
while :
do
exec_purge_binlog |tee -a $log_file
sleep "$check_interv"
done
fi3. MySQL server的relay log清理
3.1. MHA中工具purge_relay_logs
- 自行手动安装mha-node软件
3.1.1 purge_relay_logs功能
为relay日志创建硬链接(最小化批量删除大文件导致的性能问题)
SET GLOBAL relay_log_purge=1; FLUSH LOGS; SET GLOBAL relay_log_purge=0;
删除relay log（rm –f /path/to/archive_dir/*）
3.1.2 purge_relay_logs用法和参数
- 用法：
purge_relay_logs --user=root --password=rootpass --host=127.0.0.1-
参数描述：
- --user：mysql用户名，缺省为root
- --password：mysql密码
- --port：端口号
- --host：主机名，缺省为127.0.0.1
- --workdir：指定创建relay log的硬链接的位置，默认是/var/tmp，成功执行脚本后，硬链接的中继日志文件被删除。由于系统不同分区创建硬链接文件会失败，故需要执行硬链接具体位置，建议指定为relay log相同的分区
- --disable_relay_log_purge：默认情况下，参数relay_log_purge=1，脚本不做任何处理，自动退出；设定该参数，脚本会将relay_log_purge设置为0，当清理relay log之后，最后将参数设置为OFF(0)
3.1.3 定期清理relay log
pureg_relay_logs脚本在不阻塞SQL线程的情况下自动清理relay log。对于不断产生的relay log直接将该脚本部署到crontab以实现按天或按小时定期清理。
$ crontab -l
# purge relay logs at 5am
0 5 * * * /usr/bin/purge_relay_logs --user=xxx --host=xxx --password=xxx --disable_relay_log_purge >> /var/log/masterha/purge_relay_logs.log 2>&13.1.4 手动清理示例
# purge_relay_logs --version
purge_relay_logs version 0.58.
# purge_relay_logs --user=xxx --host=xxx --password=xxx --disable_relay_log_purge
2019-08-07 10:28:18: purge_relay_logs script started.
relay_log_purge is enabled. Disabling..
Opening /var/lib/mysql/data/relaylog/mysql-relay-bin.000005 ..
Opening /var/lib/mysql/data/relaylog/mysql-relay-bin.000006 ..
Executing SET GLOBAL relay_log_purge=1; FLUSH LOGS; sleeping a few seconds so that SQL thread can delete older relay log files (if it keeps up); SET GLOBAL relay_log_purge=0; .. ok.
2019-08-07 10:28:21: All relay log purging operations succeeded.3.2 脚本清除
- 可以参考上面binlog清理脚本
