shell脚本实现GrayLog配置的定期备份
一、需求
需要定期备份GrayLog5.1版本的配置
二、实现步骤或者思路
众所周知GrayLog的配置都保存在MongoDB数据库，这时我们只需备份GrayLog的MongoDB即可
- 1、使用 mongodump命令进行数据库备份导出
需要确认GrayLog的数据库是否有加账号密码认证 ,可以参考之前的文章
《业务服务器免装插件，使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1》
- 2、备份完成后进行压缩然后上传到NAS上进行备份文件的存储
这里要实现SCP免密上传，可以参考之前的文章和群晖官方的文章
《利用群晖NAS+shell脚本实现运维命令执行结果文件自动上传》
https://kb.synology.cn/zh-cn/DSM/tutorial/How_to_log_in_to_DSM_with_key_pairs_as_admin_or_root_permission_via_SSH_on_computers
- 3、备份完成后可以钉钉发送通知
- 4、结合crontab进行定期备份
0 1 * * * /opt/graylog_mongodb_backup.sh
- 5、最后测试利用数据库备份文件进行恢复
mongorestore --drop -h 127.0.0.1 -d graylog /root/restore_mongodb/graylog/ -u graylog
三、实现效果
1、最终实现的备份脚本如下
graylog_mongodb_backup.sh
说明：脚本中的一些变量请根据自己的实际情况进行修改，这里只做演示
#!/bin/bash # LOCK_FILE文件路径 LOCK_FILE=/var/log/mongodb_backup_record.log # 钉钉机器人 Webhook URL WEBHOOK_URL="https://oapi.dingtalk.com/robot/send?access_token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX" # 获取当前日期作为变量 current_datetime=$(date +"%Y-%m-%d_%H_%M_%S") # 定义备份目录和文件名 backup_dir="/home/graylog_mongodb_backup" backup_file="graylog_mongodb_backup$current_datetime" # MongoDB 连接参数 mongodb_host="localhost" mongodb_user="graylog" mongodb_password="Password请自己修改为实现的账号密码" mongodb_database="graylog" # NAS 目标路径 nas_ip="192.168.31.200" nas_username="yuanfan" nas_target_dir="/volume1/ShareFolder" nas_ssh_port="8122" nas_ssh_keyfile="/opt/nas_id_rsa.pem" # 创建备份目录 mkdir -p "$backup_dir" # 备份 MongoDB 数据库 mongodump -h "$mongodb_host" -u "$mongodb_user" -p "$mongodb_password" -d "$mongodb_database" -o "$backup_dir" >> ${LOCK_FILE} 2>&1 # 检查 mongodump 命令是否执行成功 if [ $? -eq 0 ]; then echo `date +"%Y-%m-%d %H:%M:%S"` >> ${LOCK_FILE} 2>&1 echo "MongoDB backup completed successfully." >> ${LOCK_FILE} 2>&1 else echo `date +"%Y-%m-%d %H:%M:%S"` >> ${LOCK_FILE} 2>&1 echo "Error occurred while performing MongoDB backup." >> ${LOCK_FILE} 2>&1 exit 1 fi # 打包备份文件为 tar.gz 格式 cd $backup_dir tar -zcvf /tmp/"$backup_file.tar.gz" graylog >> ${LOCK_FILE} 2>&1 # 检查打包命令是否执行成功 if [ $? -eq 0 ]; then echo `date +"%Y-%m-%d %H:%M:%S"` >> ${LOCK_FILE} 2>&1 echo "Backup files compressed successfully." >> ${LOCK_FILE} 2>&1 else echo `date +"%Y-%m-%d %H:%M:%S"` >> ${LOCK_FILE} 2>&1 echo "Error occurred while compressing backup files." >> ${LOCK_FILE} 2>&1 exit 1 fi # 上传备份文件到 NAS current_time=$(date +"%Y-%m-%d %H:%M:%S") scp -i $nas_ssh_keyfile -P "$nas_ssh_port" /tmp/"$backup_file.tar.gz" "$nas_username@$nas_ip:$nas_target_dir" >> ${LOCK_FILE} 2>&1 # 检查上传命令是否执行成功 if [ $? -eq 0 ]; then echo `date +"%Y-%m-%d %H:%M:%S"` >> ${LOCK_FILE} 2>&1 echo "Backup files uploaded to NAS successfully." >> ${LOCK_FILE} 2>&1 echo "备份文件上传成功，发送dingding通知" >> ${LOCK_FILE} 2>&1 notify_message="【通知】：Graylog服务器<font color=#FF0000> IP:($(hostname -I))</font> 的MongoDB数据库备份文件已上传至NAS <font color=#FF0000>IP:($nas_ip) </font>。\n\n【备份文件上传时间】：<font color=#FF0000> $current_time </font>\n\n【备份文件上传路径及文件名称】：<font color=#FF0000>$nas_target_dir/$backup_file.tar.gz</font>" echo $notify_message >> ${LOCK_FILE} 2>&1 curl -s -H "Content-Type: application/json" -d "{\"msgtype\":\"markdown\",\"markdown\":{\"title\":\"通知\",\"text\":\"$notify_message\"}}" "$WEBHOOK_URL" >> ${LOCK_FILE} 2>&1 # 删除临时备份文件和目录 rm -rf "$backup_dir" >> ${LOCK_FILE} 2>&1 rm /tmp/"$backup_file.tar.gz" >> ${LOCK_FILE} 2>&1 else echo `date +"%Y-%m-%d %H:%M:%S"` >> ${LOCK_FILE} 2>&1 echo "Error occurred while uploading backup files to NAS.">> ${LOCK_FILE} 2>&1 # 删除临时备份目录 rm -rf "$backup_dir" >> ${LOCK_FILE} 2>&1 exit 1 fi
2、执行脚本
(图片点击放大查看)
3、钉钉通知效果及确认NAS上的文件
(图片点击放大查看)
(图片点击放大查看)
4、还原测试
先删除一些配置
(图片点击放大查看)
(图片点击放大查看)
(图片点击放大查看)
下载NAS的备份并上传到GrayLog上
graylog_mongodb_backup2023-08-19_22_10_50.tar.gz mkdir restore_mongodb tar -zxf graylog_mongodb_backup2023-08-19_22_10_50.tar.gz -C restore_mongodb/ 还原命令 mongorestore --drop -h 127.0.0.1 -d graylog /root/restore_mongodb/graylog/ -u graylog
输入MongoDB数据库账号graylog的密码
(图片点击放大查看)
还原完成，无报错说明还原成功
(图片点击放大查看)
刷新GrayLog的界面上，看到之前删除的配置已经还原回来了
(图片点击放大查看)
Tips
结合crontab进行每天定时备份
0 1 * * * /opt/graylog_mongodb_backup.sh
