mysql定时备份

本文涉及的产品
对象存储 OSS,20GB 3个月
云数据库 RDS SQL Server,独享型 2核4GB
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 最近把公司 devops 总算搞起来了,然后把线上的 mysql 数据库定期备份到 oss 上。中间遇到不少头痛问题,比如 oss 挂载到 centos 中,docker 备份时脚本直接执行正常,放到 crontab 中执行失败,不能发送邮件等。

最近把公司 devops 总算搞起来了,然后把线上的 mysql 数据库定期备份到 oss 上。

中间遇到不少头痛问题,比如 oss 挂载到 centos 中,docker 备份时脚本直接执行正常,放到 crontab 中执行失败,不能发送邮件等。

工作环境

   系统: centos 7
   硬件: Aliyun ECS

oss 挂载

  1. 安装ossfs

aliyun 仓库 中存在 类似 亚马逊云 oss mount 的工具,然后通过如下方式进行安装即可:

# wget https://github.com/aliyun/ossfs/releases/download/v1.80.5/ossfs_1.80.5_centos7.0_x86_64.rpm
# yum localinstall ossfs_1.80.5_centos7.0_x86_64.rpm --nogpgcheck
  1. 账户配置

创建 /etc/passwd-ossfs 文件并添加如下内容:

--- 在 passwd-ossfs 文件中放入 bucket:AccessKeyID:AccessKeySecret 格式存放即可 ---
# echo bucket:XXXX:XXXXX > /etc/passwd-ossfs

--- 修改 passwd-ossfs 访问权限 ---
# chmod 640 /etc/passwd-ossfs
  1. 手动挂载
--- 非阿里云主机 url 使用外部访问链接 ---
# ossfs bucket /srv/ossfs -ourl=http://oss-cn-hangzhou.aliyuncs.com

--- 阿里云主机中 url 使用 内部链接 节约流量 ---
# ossfs bucket /srv/ossfs -ourl=http://oss-cn-hangzhou-internal.aliyuncs.com
  1. 自动挂载

修改 /etc/fstab 文件,实现自动 mount, 在其中增加如下配置即可

--- 非阿里云主机 url 使用外部访问链接 ---
ossfs#bucket /srv/ossfs fuse _netdev,url=http://oss-cn-hangzhou.aliyuncs.com,allow_other 0 0

--- 阿里云主机中 url 使用 内部链接 节约流量 ---
ossfs#bucket /srv/ossfs fuse _netdev,url=http://oss-cn-hangzhou-internal.aliyuncs.com,allow_other 0 0

然后使用 mount -a 来进行测试即可,如果没有报错即配置正确

ossfs 只能用 root 来进行操作

mail 命令发送邮件

由于 aliyun 主机把 25 端口封掉了,所以简单的配置 /etc/mail.rc 不一定好使,这里需要配 465 端口来进行发送邮件

  1. 工具安装
# yum install -y mailx
  1. 配置帐号
    阿里云封掉 25 端口后,使用 465 端口进行发送邮件,因此在 /etc/mail.rc 文件中进行如下修改:
set from=xxx@xxx.com
set smtp=smtps://smtp.exmail.qq.com:465
set smtp-auth-user=xxx@xxx.com
set smtp-auth-password=xxxxxx
set smtp-auth=login
set ssl-verify=ignore
# 证书存放位置
set nss-config-dir=/etc/pki/nssdb/

导入证书:

# echo -n | openssl s_client -connect smtp.exmail.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > /etc/pki/nssdb/exmail.qq.crt
# certutil -A -n "GeoTrust SSL CA" -t "C,," -d /etc/pki/nssdb/ -i /etc/pki/nssdb/exmail.qq.crt
# certutil -A -n "GeoTrust Global CA" -t "C,," -d /etc/pki/nssdb/ -i /etc/pki/nssdb/exmail.qq.crt
# certutil -L -d /etc/pki/nssdb/
  1. 测试
$ echo '日志内容' | mail -s '系统日志'  xxx@qq.com

定时备份db

mysql 执行在 docker 环境中,在宿主机上执行 docker 命令来生成相应的内容

#!/bin/bash

# 容器名称
docker_name=mysql

data_dir="/srv/ossfs/backup/db/"
docker exec -t ${docker_name} mysqldump -uuser -ppasswd --all-databases > "$data_dir/data_`date +%Y%m%d`.sql"
if [ $? -ne 0 ];then
    # 任务失败,发送邮件
    echo -e "Failed to backup the databases..." | mail -s 'Backup failed!!!' admin@xxx.com
    exit -1
fi
# 删除 7 天前的备份
find $data_dir -mtime +7 -name 'data_[1-9].sql' -exec rm -rf {} \;

然后通过 crontab -e 添加如下内容

0 2 * * * sh /srv/crons/mysql-backup.sh > /srv/logs/backup/mysql_dumps.log 2>&1

通过上述方式备份时 docker exec -it ... 中的 i 选项需要去掉,详细参考 # Error “The input device is not a TTY”

k8s 定时任务

  1. 定义备份存储位置:
# kubectl create -f - <<EOF
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: mysql-backup
spec:
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 2Gi
  storageClassName: glusterfs-raid0
EOF
  1. 定义定时任务
# kubectl create -f - <<EOF
apiVersion: batch/v1beta1
kind: CronJob
metadata:
  name: mysql-backup
spec:
  schedule: "0 0 * * *"
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: mysql-backup
            imagePullPolicy: IfNotPresent
            image: mysql
            env:
            - name: MYSQL_BACKUP_USER
              value: root
            - name: MYSQL_BACKUP_USER_PASSWORD
              valueFrom:
                secretKeyRef:
                  name: mysql-user-pwd
                  key: mysql-root-pwd
            - name: MYSQL_HOST
              value: mysql
            command:
            - /bin/sh
            - -c
            - |
              set -ex
              mysqldump --host=$MYSQL_HOST --user=$MYSQL_BACKUP_USER \
                        --password=$MYSQL_BACKUP_USER_PASSWORD \
                        --routines --databases appdb --single-transaction \
                        > /mysql-backup/mysql-`date +"%Y%m%d"`.sql
            volumeMounts:
            - name: mysql-backup
              mountPath: /mysql-backup
          restartPolicy: OnFailure
          volumes:
          - name: mysql-backup
            persistentVolumeClaim:
              claimName: mysql-backup
EOF

参考 在K8S集群中一步步构建一个复杂的MySQL数据库

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
2月前
|
关系型数据库 MySQL 数据库
rds备份与恢复
rds备份与恢复
28 3
|
2月前
|
关系型数据库 MySQL 数据库
Python tk dos命令备份mysql数据库
Python tk dos命令备份mysql数据库
16 0
|
2月前
|
存储 关系型数据库 MySQL
mysql数据库如何做到定期备份
mysql数据库如何做到定期备份
264 2
|
3月前
|
存储 关系型数据库 MySQL
MySQL库的操作『增删改查 ‖ 编码问题 ‖ 备份与恢复』
MySQL库的操作『增删改查 ‖ 编码问题 ‖ 备份与恢复』
44 0
|
16天前
|
SQL 关系型数据库 MySQL
mysql怎么备份
mysql怎么备份
73 7
|
2月前
|
存储 关系型数据库 MySQL
利用Xtrabackup进行mysql增量备份和全量备份
利用Xtrabackup进行mysql增量备份和全量备份
92 0
|
11天前
|
关系型数据库 MySQL Linux
Linux环境下定时备份mysql数据库
Linux环境下定时备份mysql数据库
|
16天前
|
关系型数据库 MySQL 数据安全/隐私保护
百度搜索:蓝易云【mysql在执行innobackupex增量备份时报错cannot open *****/xtrabackup_checkpoints】
如果以上方法都不能解决问题,建议检查其他错误日志或报错信息,以进一步确定问题的原因,并采取相应的措施进行修复。备份和恢复过程中的错误处理是保证数据安全的关键,务必谨慎处理。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
17 2
|
18天前
|
存储 关系型数据库 MySQL
mysql怎么备份
mysql怎么备份
14 7
|
24天前
|
监控 容灾 安全
规划阿里云RDS跨区迁移并构建容灾与备份策略
规划阿里云RDS(Relational Database Service)跨区迁移并构建容灾与备份策略
20 2

热门文章

最新文章