Linux 实例中为MySQL创建应用一致性快照最佳实践-阿里云开发者社区

通过应用一致性快照回退云盘，数据不会损坏和丢失，可以避免数据库启动时日志回滚，确保应用（例如MySQL）处于一致性的启动状态。本文以MySQL数据库为例，介绍如何创建Linux实例的应用一致性快照，并验证应用一致性快照的数据备份效果。

前提条件

ECS实例的操作系统属于CentOS 7.6及以上版本、Ubuntu 18.04及以上版本或Alibaba Cloud Linux 2.1903 LTS 64位。
ECS实例中云盘必须是ESSD类型云盘，且文件系统为EXT3、EXT4、XFS或NTFS。同时，不支持网络文件系统和共享文件系统。
ECS实例已安装云助手客户端。具体操作，请参见安装云助手客户端。
说明 2017年12月01日之后使用公共镜像创建的ECS实例，已默认预装云助手客户端。

背景信息

本文使用的验证环境信息如下所示。

环境	说明
ECS实例规格	ecs.g7.large
操作系统	CentOS 7.9 64位
云盘	ESSD云盘
应用	MySQL 5.7 说明关于如何安装部署MySQL，请参见手动部署MySQL数据库（CentOS 7）。

操作流程

步骤一：准备数据库验证环境

在操作之前，您已经安装好MySQL 5.7环境，此操作介绍如何准备数据库验证环境。

远程连接ECS实例。具体操作，请参见连接方式概述。
创建测试脚本（/root/test.sql）。

创建并打开测试脚本（/root/test.sql）。

vi /root/test.sql

输入i，进入编辑模式。
编写验证的SQL脚本。SQL脚本中内容包含创建数据库表（PointInTime）及验证存储过程（TestPIT），具体内容如下所示。

USE AdventureWorks;
CREATE TABLE PointInTime(id int, t datetime);
DELIMITER $$
CREATE PROCEDURE `TestPIT`()
BEGIN
DECLARE i int;
SET i=1;
WHILE i < 180
DO
INSERT INTO PointInTime VALUES(i, now());
SELECT SLEEP(1);
SET i=i+1;
END WHILE;
END $$
DELIMITER ;

按Esc键，并输入:wq，按回车键，退出并保存内容。

登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

其中<mysqlUserName>为您的MySQL用户名。
创建新的数据库AdventureWorks。

CREATE DATABASE AdventureWorks;

执行测试脚本。

source /root/test.sql

步骤二：创建应用冻结脚本和应用解冻脚本

此操作介绍如何为MySQL创建应用冻结脚本和应用解冻脚本，在创建应用一致性快照时需要使用到这两个脚本。

说明本文中使用的应用冻结脚本和应用解冻脚本，脚本内容仅为验证示例使用。如果您需要为自己的业务应用创建应用一致性快照，需要根据业务场景编写对应的应用冻结脚本和应用解冻脚本。

创建应用冻结脚本（/tmp/prescript.sh）。

使用root用户创建/tmp/prescript.sh。

vi /tmp/prescript.sh

输入i，进入编辑模式。
在脚本中根据应用自定义脚本内容。本文中使用以下脚本内容：

TIMESTAMP=`date +%s`
MYSQL_TEMP_FILE_NAME="/tmp/mysqlfreeze${TIMESTAMP}.tmp"
LOG_FILE_NAME="/tmp/mysqlfreeze${TIMESTAMP}.log"
# 设置您的MySQL用户名
export MYSQL_USER="$MYSQL_USER"
# 设置您的MySQL密码
export MYSQL_PWD="$MYSQL_PASSWORD"
function Log()
{
    echo "$1" 
    echo "$1" >> ${LOG_FILE_NAME}
}
function ExitWithResult()
{
    Log "[INFO]:mysql freeze result is $1."
    exit $1
}
function Main()
{
    Log "*********************************************************************"
    Log "[INFO]:Begin to freeze mysql."
    which mysql
    if [ $? -ne 0 ]
    then
        Log "[INFO]:mysql is not installed."
        ExitWithResult 0
    fi  
    systemctl status mysqld.service | grep "inactive (dead)"
    if [ $? -ne 1 ]
    then
        Log "[ERROR]:mysql is not running."
        ExitWithResult 0
    fi  
    mysql -u$MYSQL_USER  -e "show processlist;" > "${MYSQL_TEMP_FILE_NAME}" 2>&1
    if [ $? -ne 0 ]
    then
        cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:Show process list failed."
        ExitWithResult 1
    fi
    process_id=`cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'`
    if [ "$process_id" != "" ]
    then
        cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:MySQL already been freezed "
        ExitWithResult 1
    fi
    cat ${MYSQL_TEMP_FILE_NAME}
    Log "[INFO]:Try to execute flush tables command"
       echo "flush tables with read lock;select 1 and sleep(25);" | nohup mysql -u$MYSQL_USER   >> "${LOG_FILE_NAME}" 2>&1 &
    if [ $? -ne 0 ]
    then
        Log "[ERROR]:Freeze mysql failed."
        ExitWithResult 1
    fi  
    Log "[INFO]:Flush tables command execute success"
    checkTime=0
    while [ 1 ]
    do
        mysql -u$MYSQL_USER -e "show processlist;" > "${MYSQL_TEMP_FILE_NAME}" 2>&1
        if [ $? -ne 0 ]
        then
            cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
            [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
            Log "[ERROR]:Show process list failed."
            ExitWithResult 1
        fi
        cat ${MYSQL_TEMP_FILE_NAME}
        process_id=`cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'`
        if [ "$process_id" = "" ]
        then
            checkTime=`expr $checkTime + 1`
            Log "[INFO]:Mysql is not freeze. checkTime is ${checkTime}"
            sleep 1
        else
            Log "[INFO]:Found sleep command in processlist,freeze success"
            break
        fi
           if [ $checkTime -eq 10 ]
        then
            cat "${MYSQL_TEMP_FILE_NAME}" >>"${LOG_FILE_NAME}" 2>&1
            freeze_id=`cat ${MYSQL_TEMP_FILE_NAME} | grep "flush tables with read lock" | awk -F " " '{print $1}'`            
            mysql -u$MYSQL_USER -e "kill $freeze_id;" >> "${LOG_FILE_NAME}" 2>&1
            if [ $? -ne 0 ]
            then
                Log "[ERROR]:Thaw mysql failed."
            fi    
            [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
            Log "[ERROR]:Mysql is not freeze. Will return error"
            ExitWithResult 1
        fi
    done
       [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
    Log "[INFO]:Finish freeze mysql."
    ExitWithResult 0
}
Main

在脚本中，您需要修改以下参数信息：

$MYSQL_USER：修改为MySQL用户名。
$MYSQL_PASSWORD：修改为MySQL密码。

按Esc键，并输入:wq，按回车键，退出并保存内容。
为脚本设置仅root用户读、写和执行权限。
说明为了保证脚本的执行安全，请确保脚本仅root用户具有读、写及执行权限，即权限为700，否则执行脚本时会判断失败。

chmod 700 /tmp/prescript.sh

创建应用解冻脚本（/tmp/postscript.sh）。

使用root用户创建/tmp/postscript.sh。

vi /tmp/postscript.sh

输入i，进入编辑模式。
在脚本中根据应用自定义脚本内容。本文中使用以下脚本内容：

TIMESTAMP=`date +%s`
MYSQL_TEMP_FILE_NAME="/tmp/mysqlthaw${TIMESTAMP}.tmp"
LOG_FILE_NAME="/tmp/mysqlthaw${TIMESTAMP}.log"
# 设置您的MySQL用户名
export MYSQL_USER="$MYSQL_USER"
# 设置您的MySQL密码
export MYSQL_PWD="$MYSQL_PASSWORD"
function Log()
{
    echo "$1" 
    echo "$1" >> ${LOG_FILE_NAME}
}
function ExitWithResult()
{
    Log "[INFO]:mysql unfreeze result is $1."
    exit $1
}
function Main()
{
    Log "*********************************************************************"
    Log "[INFO]:Begin to thaw mysql."   
    which mysql
    if [ $? -ne 0 ]
    then
        Log "[INFO]:mysql is not installed."
        ExitWithResult 0
    fi  
    systemctl status mysqld.service | grep "inactive (dead)"
    if [ $? -ne 1 ]
    then
        Log "[ERROR]:mysql is not running."
        ExitWithResult 0
    fi  
    mysql -u$MYSQL_USER  -e "show processlist;" > "${MYSQL_TEMP_FILE_NAME}" 2>&1
    if [ $? -ne 0 ]
    then
        cat ${MYSQL_TEMP_FILE_NAME} >>"${LOG_FILE_NAME}"
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:show process list failed."
        ExitWithResult 1
    fi
    Log "[INFO]:show process list success."
    cat ${MYSQL_TEMP_FILE_NAME}
    process_ids=`cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'`
    if [ "$process_ids" = "" ]
    then
        [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
        Log "[ERROR]:Get freeze process_id failed."
        ExitWithResult 1
    fi
    cat ${MYSQL_TEMP_FILE_NAME} | grep "select 1 and sleep(25)" | awk -F " " '{print $1}'| while read pid
    do
        Log "[INFO]:Try to stop sql process ${pid}."
        mysql -u$MYSQL_USER  -e "kill $pid;" >> "${LOG_FILE_NAME}" 2>&1
        if [ $? -ne 0 ]
        then
            [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
            Log "[ERROR]:Thaw mysql failed.PIDs is ${process_ids}"
            ExitWithResult 1
        fi   
        Log "[INFO]:Stop sql process ${pid} success."
    done 
    [ -f ${MYSQL_TEMP_FILE_NAME} ] && rm -rf ${MYSQL_TEMP_FILE_NAME}
    Log "[INFO]:Finish thaw mysql."
    ExitWithResult 0
}
Main

在脚本中，您需要修改以下参数信息：

$MYSQL_USER：修改为MySQL用户名。
$MYSQL_PASSWORD：修改为MySQL密码。

按Esc键，并输入:wq，按回车键，退出并保存内容。
为脚本设置仅root用户读、写和执行权限。
说明为了保证脚本的执行安全，请确保脚本仅root用户具有读、写及执行权限，权限为700，否则执行脚本时会判断失败。

chmod 700 /tmp/postscript.sh

进入/tmp目录查看脚本权限是否正确。进入/tmp目录：

cd /tmp

查看脚本权限信息：

ls -l

结果如下所示。

步骤三：为ECS实例授予RAM角色

开启应用一致性快照前，必须先为ECS实例配置相关的RAM角色。

使用阿里云账号登录RAM控制台。
创建应用一致性快照相关的RAM角色。具体操作，请参见创建可信实体为阿里云服务的RAM角色。示例为创建一个AppSnapshotRoleName的RAM角色。

创建应用一致性快照相关权限策略。具体操作，请参见创建自定义策略。

创建一个AppSnapshotPolicy权限策略，具有查询快照相关信息、创建快照、设置标签和查询云盘信息等相关权限。您可以直接使用以下策略内容。

{
    "Version": "1",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ecs:DescribeSnapshot*",
                "ecs:CreateSnapshot*",
                "ecs:TagResources",
                "ecs:DescribeDisks"
            ],
            "Resource": [
                "*"
            ],
            "Condition": {}
        }
    ]
}

为RAM角色（AppSnapshotRoleName）设置自定义权限（AppSnapshotPolicy）。具体操作，请参见为RAM角色授权。

为目标实例设置RAM角色（AppSnapshotRoleName）。具体操作，请参见授予实例RAM角色。

步骤四：在数据库中调用存储过程（TestPIT）

此操作为创建快照前调用存储过程，方便后续操作时查看应用冻结效果和回滚数据后效果。

登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

其中<mysqlUserName>为您的MySQL用户名。
切换到AdventureWorks数据库。

USE AdventureWorks;

调用存储过程（TestPIT）。

CALL TestPIT;

说明在验证过程中，您需要在TestPIT运行完成前（大概3分钟左右）创建应用一致性快照，否则不好验证应用一致性快照的效果。

步骤五：通过控制台创建应用一致性快照

此操作介绍如何在控制台为MySQL数据库所在的Linux实例创建应用一致性快照。

进入ECS实例列表页面。

登录ECS管理控制台。
在左侧导航栏，选择实例与镜像 > 实例。
在顶部菜单栏处，选择目标ECS实例所在地域。

找到目标实例，在操作列中选择更多 > 云盘和镜像 > 创建实例快照。
在创建实例快照对话框中，设置实例快照参数并启用快照极速可用功能。

关于实例快照参数设置，请参见创建多个云盘快照（实例快照）。
关于快照极速可用功能，请参见快照极速可用功能。

在创建实例快照对话框中，设置应用一致性快照。选中启用应用一致性快照，并设置应用冻结脚本和应用解冻脚本的路径信息。脚本路径信息需要和前面步骤创建的脚本路径一致。具体脚本信息，请参见步骤二：创建应用冻结脚本和应用解冻脚本。

单击确定。创建后会返回云助手命令ID和命令执行ID，您可以根据命令执行ID查看创建结果。

步骤六：验证是否成功创建应用一致性快照。

此操作介绍如何在ECS管理控制台查看应用一致性快照创建结果，并在数据库中查看数据暂停提交的效果。

在云助手页面，查看命令执行结果。

登录ECS管理控制台。
在左侧导航栏，选择运维与监控 > 发送命令/文件（云助手）。
单击命令执行结果页签。
单击目标命令执行ID，查看执行结果。

如上图所示，ExitCode返回值为0，表示云助手上创建应用一致性快照执行成功，此时回显信息中显示创建应用一致性快照和实例快照ID。

说明如果ExitCode返回值不为0，请根据ExitCode错误码信息排查相关问题。更多信息，请参见错误码信息。

在云助手的返回信息中，查看应用冻结时间。在返回信息中，找到应用冻结脚本开始时间和应用解冻脚本完成时间。

应用冻结脚本开始执行时间为2021-08-03 18:58:41。

应用解冻脚本结束执行时间为2021-08-03 18:58:44。

在快照页面查看实例快照和云盘快照信息。

在左侧导航栏，选择存储与快照 > 快照。
单击实例快照页签，查看已创建的实例快照。
单击云盘快照页签，根据快照的标签信息，检查是否成功创建应用一致性快照。示例中云盘快照的标签显示APPConsistent:True，表示创建的是应用一致性快照。

连接MySQL数据库，查看数据暂停提交时间。

远程连接ECS实例。
登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

其中<mysqlUserName>为您的MySQL用户名。
查询数据库表PointInTime的内容。

SELECT * FROM PointInTime;

查询结果如下所示，在应用冻结脚本和应用解冻脚本执行过程中，数据库写入暂停提交。

步骤七：验证通过应用一致性快照恢复数据的效果

通过应用一致性快照恢复数据后，检查MySQL数据最后写入时间是在应用冻结脚本执行前，因此可以判断应用一致性快照的数据恢复有效果。

在ECS管理控制台，通过上面创建的实例快照回滚ECS实例。具体操作，请参见通过实例快照回滚云盘。
登录MySQL并查询数据库表PointInTime的内容。

远程连接ECS实例。
登录MySQL数据库。输入以下命令，按回车键，并根据界面提示输入MySQL密码。

mysql -u <mysqlUserName> -p

其中<mysqlUserName>为您的MySQL用户名。
查询数据库表PointInTime的内容。

SELECT * FROM PointInTime;

查询结果如下所示。

数据库冻结成功之前会停止插入数据。使用应用一致性的实例快照恢复数据后，最后一条数据对应的时间为2021-08-03 18:58:40，早于步骤五中查询的冻结时间点2021-08-03 18:58:41。因此证明关于MySQL的应用一致性快照备份的结果是正确的。

Linux 实例中为MySQL创建应用一致性快照最佳实践

前提条件

背景信息

操作流程

步骤一：准备数据库验证环境

步骤二：创建应用冻结脚本和应用解冻脚本

步骤三：为ECS实例授予RAM角色

步骤四：在数据库中调用存储过程（TestPIT）

步骤五：通过控制台创建应用一致性快照

步骤六：验证是否成功创建应用一致性快照。

步骤七：验证通过应用一致性快照恢复数据的效果

热门文章

最新文章

相关课程

相关电子书

推荐镜像

探索云世界

热门

云计算

大数据

云原生

人工智能

数据库

开发与运维

活动广场

任务中心

训练营

直播

乘风者计划

下载

镜像站

技术资料

Linux 实例中为MySQL创建应用一致性快照最佳实践

前提条件

背景信息

操作流程

步骤一：准备数据库验证环境

步骤二：创建应用冻结脚本和应用解冻脚本

步骤三：为ECS实例授予RAM角色

步骤四：在数据库中调用存储过程（TestPIT）

步骤五：通过控制台创建应用一致性快照

步骤六：验证是否成功创建应用一致性快照。

步骤七：验证通过应用一致性快照恢复数据的效果

热门文章

最新文章

相关课程

相关电子书

推荐镜像