myrocks复制优化-阿里云开发者社区

开发者社区> zysql> 正文

myrocks复制优化

简介: --- title: MySQL · myrocks · myrocks复制优化 author: 张远 --- # 概述 myrocks依然采用mysql原有的基于binlog的复制方式。目前由于myrocks不支持gap lock, 因此在statement格式的binlog下进行复制,主备可能出现不一致。myrocks建议在复制时设置binlog格式为row。 myrocks在r
+关注继续查看

title: MySQL · myrocks · myrocks复制优化

author: 张远

概述

myrocks依然采用mysql原有的基于binlog的复制方式。目前由于myrocks不支持gap lock, 因此在statement格式的binlog下进行复制,主备可能出现不一致。myrocks建议在复制时设置binlog格式为row。 myrocks在rocksdb引擎层为复制做了一些卓有成效的优化,例如skip unique check , read free replication。

skip unique check

skip unique check 忽略唯一性检查,此特性开启时需确保我们写入的数据不会违反唯一性约束。在正常的主备复制环境下, 备库是只读的,主库的写入是经过了唯一性检查的,写入binlog后,备库应用这些binlog时理论上是不需要再检查唯一性的。 基于以上假设,备库开skip unique check,可以减少唯一性检查的开销,并保证主备数据的一致性。

skip unique check有以下参数可以控制,

  • rocksdb_skip_unique_check
    控制rocksdb是否忽略唯一性检查,对复制sql线程和用户正常连接都有效。一般不建议开启。
  • rocksdb_skip_unique_check_tables
    指定哪些表忽略唯一性检查,只对复制sql线程有效。
  • unique_check_lag_threshold
    备库延迟超过此值时才忽略唯一性检查
  • unique_check_lag_reset_threshold
    备库延迟小于此值时不忽略唯一性检查

在备库环境中,我们一般只设置以下三个参数(rocksdb_skip_unique_check参数设置为true后,下面三个参数不管怎么设置都会忽略唯一性检查)

rocksdb_skip_unique_check_tables
unique_check_lag_threshold
unique_check_lag_reset_threshold

备库开启skip unique check时,还有一个优化是写入数据时不需要加锁,省去了锁的开销(get_blind_write_batch)。

read free replication

read free replication优化思路来源于tokudb
tokudb是基于Fractal-Trees,数据都是先写入到内节点message buffer, 最后再apply到叶子节点。这种延迟写入特性有益于read free replication。

read free replication必须工作在row格式的binlog下,基于row格式的binlog包括row的前镜像和后镜像。read free replication利用前镜像来直接更新数据,从而减少了一次读取行操作。

引入read free replication之前,备库复制线程是这样工作的

  • delete
    根据row image来查找此行是否存在,如果不存在复制就报错退出,存在则继续delete。
  • update
    update binlog有前镜像和后镜像,先根据前镜像来查找此行是否存在,如果不存在复制就报错退出,存在则根据后镜像更新数据。

引入read free replication之后,备库复制线程是这样工作的

  • delete
    直接根据row image来delete,不需要判断行是否存在。
  • update
    update binlog直接根据后镜像更新数据,不需要判断行是否存在。 其中update过程中如果有更新唯一性字段,还是需要读取行来检查唯一性。

对于insert,read free replication 实际不起作用。

  • insert
    insert过程还是需要检查唯一性的。

因此,要想真正的做到read free replication即复制sql线程只管写入不需要读取行, read free replication是需要和skip unique check一起配合使用的

问题来了,innodb可以做到read free replication吗?

innodb写入并不像tokudb,rocksdb一样是延迟写入的,同时innodb的更新必须读取老的行数据。
因此,innodb不能做到read free replication。

read free replication风险

read free replication使用是在一定前提下的

binlog格式为row
复制所在的备库必须是只读的

这里列了两个违反规则使用read free replication导致出问题的两个例子,转帖如下

  • 二级索引少了些行
create table t (id int primary key, i1 int, i2 int, value int, index (i1), index (i2)) engine=rocksdb;
insert into t values (1,1,1,1),(2,2,2,2),(3,3,3,3);

s:
delete from t where id <= 2;

m:
update t set i2=100, value=100 where id=1;

s:
mysql> select count(*) from t force index(primary);
+----------+
| count(*) |
+----------+
|        2 |
+----------+
1 row in set (0。00 sec)

mysql> select count(*) from t force index(i1);
+----------+
| count(*) |
+----------+
|        1 |
+----------+
1 row in set (0。00 sec)

mysql> select count(*) from t force index(i2);
+----------+
| count(*) |
+----------+
|        2 |
+----------+
1 row in set (0。00 sec)

mysql> select * from t where id=1;
+----+------+------+-------+
| id | i1   | i2   | value |
+----+------+------+-------+
|  1 |    1 |  100 |   100 |
+----+------+------+-------+
1 row in set (0。00 sec)

mysql> select i1 from t where i1=1;
Empty set (0。00 sec)

mysql> select i2 from t where i2=100;
+------+
| i2   |
+------+
|  100 |
+------+
1 row in set (0。00 sec)
  • 二级索引多了些行
M:
create table t (id int primary key, i1 int, i2 int, value int, index (i1), index (i2)) engine=rocksdb;
insert into t values (1,1,1,1),(2,2,2,2),(3,3,3,3);

S:
update t set i1=100 where id=1;

M:
delete from t where id=1;

S:
mysql> select count(*) from t force index(primary);
+----------+
| count(*) |
+----------+
|        2 |
+----------+
1 row in set (0。00 sec)

mysql> select count(*) from t force index(i1);
+----------+
| count(*) |
+----------+
|        3 |
+----------+
1 row in set (0。00 sec)

mysql> select count(*) from t force index(i2);
+----------+
| count(*) |
+----------+
|        2 |
+----------+
1 row in set (0。00 sec)

mysql> select i1 from t where i1=100;
+------+
| i1   |
+------+
|  100 |
+------+
1 row in set (0。00 sec)

read free replication应用

这篇文章介绍了tokudb read free replicatio的应用场景,同样适用于rocksdb read free replication。
总之,read free replicatio大大提高了复制的效率,同时结合rockedb的高效压缩和低写入放大特性,使得myrocks非常适用于只读库的扩展,或作为mysql其他引擎实例的备用实例。

总结

myrocks在复制方面作了有益的优化,但这些优化并不是银弹。我们通过这些优化得到高的回报的同时,也要明确知道这些优化的风险,严格遵守优化的前置条件,从而保证安全性和高性能。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
9481 0
使用SSH远程登录阿里云ECS服务器
远程连接服务器以及配置环境
2462 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9048 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13163 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,云吞铺子总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系统盘、创建快照、配置安全组等操作如何登录ECS云服务器控制台? 1、先登录到阿里云ECS服务器控制台 2、点击顶部的“控制台” 3、通过左侧栏,切换到“云服务器ECS”即可,如下图所示 通过ECS控制台的远程连接来登录到云服务器 阿里云ECS云服务器自带远程连接功能,使用该功能可以登录到云服务器,简单且方便,如下图:点击“远程连接”,第一次连接会自动生成6位数字密码,输入密码即可登录到云服务器上。
21889 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4008 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
6885 0
+关注
zysql
张远 MySQL/MyRocks
34
文章
10
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载