shell脚本实现GrayLog配置的定期备份

本文涉及的产品
云数据库 MongoDB,通用型 2核4GB
文件存储 NAS,50GB 3个月
简介: shell脚本实现GrayLog配置的定期备份

shell脚本实现GrayLog配置的定期备份

一、需求

需要定期备份GrayLog5.1版本的配置

二、实现步骤或者思路

众所周知GrayLog的配置都保存在MongoDB数据库,这时我们只需备份GrayLog的MongoDB即可

  • 1、使用 mongodump命令进行数据库备份导出

需要确认GrayLog的数据库是否有加账号密码认证 ,可以参考之前的文章

业务服务器免装插件,使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1

  • 2、备份完成后进行压缩然后上传到NAS上进行备份文件的存储

这里要实现SCP免密上传,可以参考之前的文章和群晖官方的文章

利用群晖NAS+shell脚本实现运维命令执行结果文件自动上传

https://kb.synology.cn/zh-cn/DSM/tutorial/How_to_log_in_to_DSM_with_key_pairs_as_admin_or_root_permission_via_SSH_on_computers
  • 3、备份完成后可以钉钉发送通知
  • 4、结合crontab进行定期备份
0 1 * * * /opt/graylog_mongodb_backup.sh
  • 5、最后测试利用数据库备份文件进行恢复
mongorestore --drop -h 127.0.0.1 -d graylog  /root/restore_mongodb/graylog/ -u graylog

三、实现效果

1、最终实现的备份脚本如下

graylog_mongodb_backup.sh

说明:脚本中的一些变量请根据自己的实际情况进行修改,这里只做演示

#!/bin/bash
# LOCK_FILE文件路径
LOCK_FILE=/var/log/mongodb_backup_record.log
# 钉钉机器人 Webhook URL
WEBHOOK_URL="https://oapi.dingtalk.com/robot/send?access_token=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
# 获取当前日期作为变量
current_datetime=$(date +"%Y-%m-%d_%H_%M_%S")
# 定义备份目录和文件名
backup_dir="/home/graylog_mongodb_backup"
backup_file="graylog_mongodb_backup$current_datetime"
# MongoDB 连接参数
mongodb_host="localhost"
mongodb_user="graylog"
mongodb_password="Password请自己修改为实现的账号密码"
mongodb_database="graylog"
# NAS 目标路径
nas_ip="192.168.31.200"
nas_username="yuanfan"
nas_target_dir="/volume1/ShareFolder"
nas_ssh_port="8122"
nas_ssh_keyfile="/opt/nas_id_rsa.pem"
# 创建备份目录
mkdir -p "$backup_dir"
# 备份 MongoDB 数据库
mongodump -h "$mongodb_host" -u "$mongodb_user" -p "$mongodb_password" -d "$mongodb_database" -o "$backup_dir"  >> ${LOCK_FILE} 2>&1
# 检查 mongodump 命令是否执行成功
if [ $? -eq 0 ]; then
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
    echo "MongoDB backup completed successfully." >> ${LOCK_FILE} 2>&1
else
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
    echo "Error occurred while performing MongoDB backup." >> ${LOCK_FILE} 2>&1
    exit 1
fi
# 打包备份文件为 tar.gz 格式
cd $backup_dir
tar -zcvf /tmp/"$backup_file.tar.gz"  graylog >> ${LOCK_FILE} 2>&1
# 检查打包命令是否执行成功
if [ $? -eq 0 ]; then
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
    echo "Backup files compressed successfully." >> ${LOCK_FILE} 2>&1
else
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
        echo "Error occurred while compressing backup files." >> ${LOCK_FILE} 2>&1
    exit 1
fi
# 上传备份文件到 NAS
current_time=$(date +"%Y-%m-%d %H:%M:%S")
scp -i $nas_ssh_keyfile -P "$nas_ssh_port" /tmp/"$backup_file.tar.gz" "$nas_username@$nas_ip:$nas_target_dir" >> ${LOCK_FILE} 2>&1
# 检查上传命令是否执行成功
if [ $? -eq 0 ]; then
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
    echo "Backup files uploaded to NAS successfully." >> ${LOCK_FILE} 2>&1
    echo "备份文件上传成功,发送dingding通知"  >> ${LOCK_FILE} 2>&1
    notify_message="【通知】:Graylog服务器<font color=#FF0000> IP:($(hostname -I))</font> 的MongoDB数据库备份文件已上传至NAS <font color=#FF0000>IP:($nas_ip) </font>。\n\n【备份文件上传时间】:<font color=#FF0000> $current_time </font>\n\n【备份文件上传路径及文件名称】:<font color=#FF0000>$nas_target_dir/$backup_file.tar.gz</font>"
    echo $notify_message  >> ${LOCK_FILE} 2>&1
    curl -s -H "Content-Type: application/json" -d "{\"msgtype\":\"markdown\",\"markdown\":{\"title\":\"通知\",\"text\":\"$notify_message\"}}" "$WEBHOOK_URL"  >> ${LOCK_FILE} 2>&1
# 删除临时备份文件和目录
    rm -rf "$backup_dir" >> ${LOCK_FILE} 2>&1
    rm /tmp/"$backup_file.tar.gz" >> ${LOCK_FILE} 2>&1
else
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
    echo "Error occurred while uploading backup files to NAS.">> ${LOCK_FILE} 2>&1
# 删除临时备份目录
    rm -rf "$backup_dir" >> ${LOCK_FILE} 2>&1
    exit 1
fi

2、执行脚本

(图片点击放大查看)

3、钉钉通知效果及确认NAS上的文件

(图片点击放大查看)

(图片点击放大查看)

4、还原测试

先删除一些配置

(图片点击放大查看)

(图片点击放大查看)

(图片点击放大查看)

下载NAS的备份并上传到GrayLog上

graylog_mongodb_backup2023-08-19_22_10_50.tar.gz
mkdir restore_mongodb
tar -zxf graylog_mongodb_backup2023-08-19_22_10_50.tar.gz -C restore_mongodb/
还原命令
mongorestore --drop -h 127.0.0.1 -d graylog  /root/restore_mongodb/graylog/ -u graylog

输入MongoDB数据库账号graylog的密码

(图片点击放大查看)

还原完成,无报错说明还原成功

(图片点击放大查看)

刷新GrayLog的界面上,看到之前删除的配置已经还原回来了

(图片点击放大查看)

Tips

结合crontab进行每天定时备份

0 1 * * * /opt/graylog_mongodb_backup.sh

相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
2天前
|
Java 关系型数据库 MySQL
Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
【4月更文挑战第12天】Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
23 3
|
5天前
|
运维 监控 Shell
利用Shell脚本编写局域网监控软件:实时监测主机连接情况
本文介绍了如何使用Shell脚本创建一个局域网监控工具,以实时检查主机连接状态。脚本包括扫描IP地址范围检测主机可达性及使用`netstat`监控ESTABLISHED连接。此外,还展示了如何每60秒将连接数数据自动提交到指定网站API,以便实时跟踪网络活动。这个自动化监控系统有助于提升网络安全性和故障排查效率。
24 0
|
6天前
|
Shell
Shell脚本之流程控制语句
Shell脚本之流程控制语句
|
7天前
|
JSON 运维 监控
训练shell常用脚本练习(三)
【4月更文挑战第14天】shell代码训练(三)
23 1
|
11天前
|
存储 弹性计算 Shell
ecs服务器shell常用脚本练习(十)
【4月更文挑战第11天】shell代码训练(十)
142 0
|
11天前
|
弹性计算 Shell Go
ecs服务器shell常用脚本练习(九)
【4月更文挑战第10天】shell代码训练(八)
134 0
|
15天前
|
弹性计算 Shell Linux
ecs服务器shell常用脚本练习(六)
【4月更文挑战第4天】shell代码训练(六)
108 0
|
20天前
|
弹性计算 Shell 应用服务中间件
ecs服务器shell常用脚本练习(四)
【4月更文挑战第4天】shell代码训练(四)
96 0
|
22天前
|
Shell
【shell】实时查看网卡流量脚本
【shell】实时查看网卡流量脚本
|
22天前
|
Shell Linux
Linux的shell入门教程shell脚本入门教程
Linux的shell入门教程shell脚本入门教程
15 0