开发者社区> Roin123> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

新功能初探 | MySQL 8.0.17重量级功能:clone plugin

简介: MySQL8.0.17推出了一个重量级的功能:clone plugin。允许用户可以将当前实例进行本地或者远程的clone。这在某些场景尤其想快速搭建复制备份或者在group replication里加入新成员时非常有用。本文主要试玩下该功能,并试图阐述下其实现的机制是什么。
+关注继续查看

MySQL8.0.17推出了一个重量级的功能:clone plugin。允许用户可以将当前实例进行本地或者远程的clone。这在某些场景尤其想快速搭建复制备份或者在group replication里加入新成员时非常有用。本文主要试玩下该功能,并试图阐述下其实现的机制是什么。

我们以本地clone为例,因为去除网络部分,理解起来会相对简单点。 也不会过度接触代码部分,仅仅做简单的原理性阐述.

示例

本地clone

本地clone无需启动额外mysqld, 只要在实例上执行一条sql语句,指定下目标目录即可:

CLONE LOCAL DATA DIRECTORY [=] 'clone_dir';


root@test 03:49:43>SELECT STAGE, STATE, END_TIME FROM performance_schema.clone_progress;
+-----------+-------------+----------------------------+
| STAGE     | STATE       | END_TIME                   |
+-----------+-------------+----------------------------+
| DROP DATA | Completed   | 2019-07-26 12:07:12.285611 |
| FILE COPY | Completed   | 2019-07-26 12:07:18.270998 |
| PAGE COPY | Completed   | 2019-07-26 12:07:18.472560 |
| REDO COPY | Completed   | 2019-07-26 12:07:18.673061 |
| FILE SYNC | Completed   | 2019-07-26 12:07:32.090219 |
| RESTART   | Not Started | NULL                       |
| RECOVERY  | Not Started | NULL                       |
+-----------+-------------+----------------------------+
7 rows in set (0.00 sec)

需要BACKUP_ADMIN权限

远程clone:

CLONE INSTANCE FROM USER@HOST:PORT
IDENTIFIED BY 'password'
[DATA DIRECTORY [=] 'clone_dir']
[REQUIRE [NO] SSL];

mysql> SET GLOBAL clone_valid_donor_list = 'example.donor.host.com:3306';

mysql> CLONE INSTANCE FROM clone_user@example.donor.host.com:3306

   IDENTIFIED BY 'password';

mysql> CLONE INSTANCE FROM user_name@example.donor.host.com:3306

   IDENTIFIED BY 'password'
   DATA DIRECTORY = '/path/to/clone_dir';
  1. 需要指定绝对路径,并且路径目录必须不存在
  2. 在接受机器上启动mysqld,执行上述语句连接到目标机器,就能从目标机器上clone数据到本地,注意如果没有指定data directory的话,就默认配置的目录,已有的文件会被清理掉,并在clone完成后重启
  3. 两个实例上都需要安装clone plugin
  4. 必须有相同的字符集设置

官方文档列出的一些限制:

  • ddl包括truncate table在clone期间不允许执行 //被block住
  • An instance cannot be cloned from a different MySQL server version. The donor and recipient must have the same MySQL server version.
  • the X Protocol port specified by mysqlx_port is not supported for remote cloning operations
  • The clone plugin does not support cloning of MySQL server configurations
  • 不支持clone binlog
  • The clone plugin only clones data stored in InnoDB. Other storage engine data is not cloned
  • Connecting to the donor MySQL server instance through MySQL Router is not supported.
  • Local cloning operations do not support cloning of general tablespaces that were created with an absolute path. A cloned tablespace file with the same path as the source tablespace file would cause a conflict.

主要流程

主要流程包含如下几个过程:

[INIT] ---> [FILE COPY] ---> [PAGE COPY] ---> [REDO COPY] -> [Done]

INIT阶段

需要持有backup lock, 阻止ddl进行

FILE COPY

按照文件进行拷贝,同时开启page tracking功能,记录在拷贝过程中修改的page, 此时会设置buf_pool->track_page_lsn为当前lsn,track_page_lsn在flush page阶段用到:

buf_flush_page:

    if (!fsp_is_system_temporary(bpage->id.space()) &&
        buf_pool->track_page_lsn != LSN_MAX) {
      page_t *frame;
      lsn_t frame_lsn;

      frame = bpage->zip.data;

      if (!frame) {
        frame = ((buf_block_t *)bpage)->frame;
      }
      frame_lsn = mach_read_from_8(frame + FIL_PAGE_LSN); //对于在track_page_lsn之后的page, 如果frame_Lsn大于track_page_lsn, 表示已经记录下page id了,无需重复记录

      arch_page_sys->track_page(bpage, buf_pool->track_page_lsn, frame_lsn,
                                false);  // 将page id记录下来,表示在track_page_lsn后修改过的page
    }

会创建一个后套线程page_archiver_thread(),将内存记录的page id flush到disk上

PAGE COPY

这里有两个动作

  • 开启redo archiving功能,从当前点开始存储新增的redo log,这样从当前点开始所有的增量修改都不会丢失
  • 同时上一步在page track的page被发送到目标端。确保当前点之前所做的变更一定发送到目标端

关于redo archiving,实际上这是官方早就存在的功能,主要用于官方的企业级备份工具,但这里clone利用了该特性来维持增量修改产生的redo。 在开始前会做一次checkpoint, 开启一个后台线程log_archiver_thread()来做日志归档。当有新的写入时(notify_about_advanced_write_lsn)也会通知他去archive

当arch_log_sys处于活跃状态时,他会控制日志写入以避免未归档的日志被覆盖(log_writer_wait_on_archiver), 注意如果log_writer等待时间过长的话, archive任务会被中断掉

Redo Copy

停止Redo Archiving", 所有归档的日志被发送到目标端,这些日志包含了从page copy阶段开始到现在的所有日志,另外可能还需要记下当前的复制点,例如最后一个事务提交时的binlog位点或者gtid信息,在系统页中可以找到

Done

目标端重启实例,通过crash recovery将redo log应用上去。

参考文档

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
关于MySQL 8.0 的下载、安装、配置、卸载
关于MySQL 8.0 的下载、安装、配置、卸载
49 0
linux mysql 安装与使用
引用: 想使用Linux已经很长时间了,由于没有硬性任务一直也没有系统学习,近日由于工作需要必须使用Linux下的MySQL。本以为有Windows下使用SQL Server的经验,觉得在Linux下安装MySql应该是易如反掌的事,可在真正安装和使用MySQL时走了很多弯路,遇见很多问题,毕竟Linux和Windows本身就有很大区别。
843 0
ubuntu 安装mysql 5.5.28 编译安装 innodb 配置
安装环境:ubuntu 桌面版12.10 安装版本:mysql-5.5.28.tar.gz 使用root用户安装 su root 在出现的提升中输入密码 1.安装必备工具 1.1.安装cmake编译器 apt-get install cmake 1.2.安装libncurses5-dev包 apt-get install libncurses5-dev 1.
1643 0
centos 5.5 安装mysql 5.5 全程详细记录 RPM方式安装
#rpm –qa|grep –i mysql查看已安装的mysql版本 如果有已存在的mysql版本则删除 安装服务端和客户端,去ORACLE官网下载: # rpm -ivh MySQL-server-5.5.28-1.linux2.6.i386.rpm # rpm -ivh MySQL-client-5.5.28-1.linux2.6.i386.rpm 安装后会出现以下信息,提示不要忘记设计root用户的密码以及其他信息。
969 0
MySQL+HEART+DRBD安装之DRBD安装配置
CentOS版本:CentOS release 5.5 (Final)系统磁盘:/dev/sda(系统安装要的swap和/目录)          /dev/sdb(用作drbd使用)两台主机:ip 10.
738 0
牛刀小试MySQl学习-MySQL5.5 安装
首先创建专用帐户:          [root@localhost zsdins]# groupadd mysql        [root@localhost zsdins]# useradd -r -g mysql mysql 安装cmake(mysql5.
840 0
mysql 4.0.26 安装流程
引用:http://hi.baidu.com/bdczg/blog/item/e0f475951c8a9f47d0135ef9.html http://www.sudu.cn/info/index.php?op=article&id=114305 MYSQL小档案: 软件版本:4.
896 0
Apache+php+mysql在windows下的安装与配置图解
先准备好软件: Apache官方下载地址:apache_2.0.55-win32-x86-no_ssl.msi,更多版本在这里; php官方下载地址:php-5.0.5-Win32.zip,更多镜像下载地址,更多版本下载; mysql官方下载地址:mysql-4.1.14-win32.zip,更多镜像下载地址,更多版本下载。
1106 0
【技术贴】jsp环境搭建,Myeclipse,mysql的安装顺序
【技术贴】jsp环境搭建,Myeclipse,mysql的安装顺序 相关注册码 myeclipse 8注册码+mysql可视化Navicat 注册码 都在这个网址里面   http://hi.
1010 0
+关注
文章
问答
来源圈子
更多
让用户数据永远在线,让数据无缝的自由流动
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
MySQL 开发规约实战
立即下载
好的 MySQL 兼容可以做到什么程度
立即下载
MySQL 5.7优化不求人
立即下载