自建Percona5.7.23同步阿里云RDS(MySQL5.6)TokuDB数据库

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: 阿里云RDS支持TokuDB引擎,具有高压缩,高写入性能,读性能和InnoDB差不多。本文详解Percona MySQL5.7.23(包含TokuDB引擎)二进制的搭建,以及使用RDS备份文件恢复数据和搭建GTID同步到自建Percona MySQL5.7.23的过程。

1. 安装二进制 Percona Server for MySQL 5.7.23

1. 1 下载二进制 Percona Server for MySQL 5.7.23

命令:


wget -c https://www.percona.com/downloads/Percona-Server-LATEST/Percona-Server-5.7.23-23/binary/tarball/Percona-Server-5.7.23-23-Linux.x86_64.ssl102.tar.g

2.2 安装依赖

2.2.1. 更新系统 和安装依赖


yum -y update
yum install libatomic.x86_64 atomic.x86_64

2.2.2 更新GCC

Percona Server for MySQL 5.7.23需要GLIBCXX 3.4.21, 如果用户的GLIBCXX低于该本,启动MySQL时,无法成功,并且不输出任何错误信息1) 检查GLIBCXX版本


strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX
GLIBCXX_3.4
GLIBCXX_3.4.1
GLIBCXX_3.4.2
GLIBCXX_3.4.3
GLIBCXX_3.4.4
GLIBCXX_3.4.5
GLIBCXX_3.4.6
GLIBCXX_3.4.7
GLIBCXX_3.4.8
GLIBCXX_3.4.9
GLIBCXX_3.4.10
GLIBCXX_3.4.11
GLIBCXX_3.4.12
GLIBCXX_3.4.13
GLIBCXX_3.4.14
GLIBCXX_3.4.15
GLIBCXX_3.4.16
GLIBCXX_3.4.17
GLIBCXX_3.4.18
GLIBCXX_3.4.19
GLIBCXX_DEBUG_MESSAGE_LENGTH


2) 如果检索出来GLIBCXX版本低于3.4.21,则添加更新源

vim /etc/yum.repos.d/FedoraRepo.repo
[warning:fedora]
name=fedora
mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=fedora-23&arch=$basearch
enabled=1
gpgcheck=1
gpgkey=https://getfedora.org/static/34EC9CBA.txt

3) 更新GCC

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

4) 检查GLIBCXX版本


$ strings /usr/lib64/libstdc++.so.6 | grep LIBCXX
GLIBCXX_3.4
GLIBCXX_3.4.1
GLIBCXX_3.4.2
GLIBCXX_3.4.3
GLIBCXX_3.4.4
GLIBCXX_3.4.5
GLIBCXX_3.4.6
GLIBCXX_3.4.7
GLIBCXX_3.4.8
GLIBCXX_3.4.9
GLIBCXX_3.4.10
GLIBCXX_3.4.11
GLIBCXX_3.4.12
GLIBCXX_3.4.13
GLIBCXX_3.4.14
GLIBCXX_3.4.15
GLIBCXX_3.4.16
GLIBCXX_3.4.17
GLIBCXX_3.4.18
GLIBCXX_3.4.19
GLIBCXX_3.4.20
GLIBCXX_3.4.21
GLIBCXX_DEBUG_MESSAGE_LENGTH


5) 删除刚才添加的源刚才添加的源和系统自带的源有一些冲突,所以更新完gcc,g++后需要删除


rm /etc/yum.repos.d/FedoraRepo.repo

2.2.3 编译安装openssl

wget https://www.openssl.org/source/openssl-1.1.1.tar.gz
tar zcvf openssl-1.1.1.tar.gz
cd openssl-1.1.1
./config
make
make install
ln -s /usr/local/lib64/libssl.so.1.1 /usr/lib64/libssl.so.1.1
ln -s  /usr/local/lib64/libcrypto.so.1.1  /usr/lib64/libcrypto.so.1.1 

2.3 安装二进制Percona Server MySQL 5.7

2.3.1 添加用户组

groupadd mysql
useradd -g mysql -d /usr/local/mysql -s /sbin/nologin -M mysql

2.3.2 解压安装包

tar zxvf Percona-Server-5.7.23-23-Linux.x86_64.ssl102.tar.gz
mv Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /opt

2.3.3 添加MySQL到系统

1) 创建符号链接


ln -s /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /usr/local/mysql

2) 修改系统环境变量

vim /etc/profile

在文件末尾添加export PATH="/usr/local/mysql/bin/:$PATH" 

3) 使环境变量生效

source /etc/profile

2.3.4 初始化

cd /usr/local/mysql
./bin/mysqld --defaults-file=/etc/my.cnf --initialize

2.3.4 添加启动脚本

cp /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102/support-files/mysql.server /etc/init.d/mysqld

修改文件/etc/init.d/mysqld把文件中的Percona-Server-5.7.23-23-Linux.x86_64.ssl102都替换成mysql

2.3.5. 启动mysql

 /etc/init.d/mysqld restart

2.3.6. 设置root密码

1) 获取初始密码

grep "temporary password" /data/mysql/mysql3306/data/error.log

mysql_temp_pwd.png

2) 修改root密码

cd /usr/local/mysql
./bin/mysql_secure_installation

msyql_secure_install.png

2.4、 配置TokuDB引擎及参数

2.4.1 禁掉操作系统大页的支持

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

如果不修改,使用tokudb引擎的时候,会在error.log中报错

Transparent huge pages are enabled, according to /sys/kernel/mm/redhat_transparent_hugepage/enabled
Transparent huge pages are enabled, according to /sys/kernel/mm/transparent_hugepage/enabled

2.4.2 安装TokuDB引擎

ps_tokudb_admin --enable -uroot -p

2.4.3 添加malloc库为jemalloc

1) 拷贝MySQL版本对应的jemalloc

cp /usr/local/mysql/lib/mysql/libjemalloc.so* /usr/lib64/

2) 在/etc/my.cnf中添加malloc库使用jemalloc

[mysqld_safe]
thp-setting=never
malloc-lib=/usr/lib64/libjemalloc.so

3) 配置tokudb参数

plugin-dir = /usr/local/mysql/lib/mysql/plugin
plugin-load=ha_tokudb.so
tokudb_row_format = tokudb_zlib
tokudb_cache_size = 1G
tokudb_commit_sync = 1
tokudb_directio = 1
tokudb_read_block_size = 128K
tokudb_read_buf_size = 128K
tokudb_support_xa = 1
tokudb_directio = 0
#tokudb_pk_insert_mode = ON
tokudb_hide_default_row_format = ON
tokudb_lock_timeout_debug = 1

2.4.4 重启MySQL

/etc/init.d/mysqld restart

2. 下载阿里云RDS全量备份文件

2.1 登陆阿里云RDS控制台获取备份文件下载地址

rds-per-down-data.pngrds-inner-net-address.png

2.2 下载备份文件

登陆云服务器,使用wget下载数据备份文件,命令格式如下:


wget -c '<数据备份文件内网下载地址>' -O (大写的O) <自定义文件名>.tar.gz

参数说明:

  • -c: 启用断点续传 模式
  • -O: 将下载的结果保持为指定文件(使用URL中包含的文件名后缀.tar.gz或者.xb.gz)

2.3 停止MySQL


/etc/init.d/mysqld stop

2.4 删除MySQL data目录下所有文件

如: rm -r /data/mysql/var/3306/

2.5 解压RDS备份文件到MySQL data目录

  • RDS备份文件格式为.tar.gz
tar -izxvf <数据备份文件名>.tar.gz  -C /data/mysql/var/3306/
  • RDS备份文件格式为.xb.gz
gzip -d -c <数据备份文件名>.xb.gz | xbstream -x -v -C /data/mysql/var/3306/

3. 安装tokudb-xtrabackup

3.1下载tokudb-xtrabackup


 git clone https://github.com/xelabs/tokudb-xtrabackup.git

3.2 编译安装tokudb-xtrabackup

1) 安装依赖

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

2) 编译安装tokudb-xtrabackup

cmake .\
  -DBUILD_CONFIG=xtrabackup_release\
  -DWITH_BOOST=extra/boost/boost_1_59_0.tar.gz\
  -DWITH_MAN_PAGES=OFF\
  -DCMAKE_INSTALL_PREFIX=/usr/local/xtrabackup_xelabs/

make
make install

4. 备份恢复

4.1 数据文件恢复

 /usr/local/xtrabackup_xelabs/bin/innobackupex --defaults-file=/data/mysql/var/3306/backup-my.cnf --apply-log /data/mysql/var/3306/

4.2 启动MySQL

/etc/init.d/mysqld start

4.3 登陆MySQL

mysql -uroot -h127.0.0.1 -p

如果登陆失败,需按照如下步骤进行:1) 在MySQL配置文件中添加skip-grant-tables,然后重启MySQL2) 使用mysql -uroot -p -h127.0.0.13) 修改root密码: update mysql.user set authentication_string=password('密码') where user='root' and Host = '127.0.0.1';4) 删除RDS多余的表: drop table rds_extra;5) 更新权限: flush privileges;

4.4 更新数据库

由于备份文件是RDS MySQL5.6,而自建数据库是MySQL5.7,所以需要使用更新命令更新一下数据库表,命令如下

mysql_upgrade -u root  -h 127.0.0.1 -p   --force

4.5 重启数据库

/etc/init.d/mysqld start

5. 创建gtid同步

5.1 删除数据库trigger

1) 查看triggers

use 数据库;
show triggers;

2) 删除trigger

drop trigger trigger_名字

5.2 获取gtid值

cat /data/mysql/var/3306/xtrabackup_info # 获取GTID of the last change值

5.3 配置同步

1) 重置复制

stop slave;
reset slave all;
reset master;

2) 设置复制

set global gtid_purged='gtid值';

CHANGE MASTER TO
  MASTER_HOST='xxxxx.mysql.rds.aliyuncs.com',
  MASTER_USER='dt_repl',
  MASTER_PASSWORD='xxxxx',
  MASTER_PORT=3306,
  MASTER_AUTO_POSITION=1,
  MASTER_CONNECT_RETRY=10;

3) 启动复制

start slave;

4) 查看复制状态

show slave status\G;
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
21天前
|
存储 SQL 关系型数据库
一篇文章搞懂MySQL的分库分表,从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
MySQL如何进行分库分表、数据迁移?从相关概念、使用场景、拆分方式、分表字段选择、数据一致性校验等角度阐述MySQL数据库的分库分表方案。
一篇文章搞懂MySQL的分库分表,从拆分场景、目标评估、拆分方案、不停机迁移、一致性补偿等方面详细阐述MySQL数据库的分库分表方案
|
2月前
|
弹性计算 关系型数据库 MySQL
新一期陪跑班开课啦!阿里云专家手把手带你体验RDS通用云盘核心能力
本次课程将手把手带领用户创建一个云数据库RDS MySQL(通用云盘),并通过云服务器ECS对RDS MySQL实例进行压测,体验IO加速和IO突发带来的性能提升;并通过DMS执行DDL,将数据归档到OSS,再结合云盘缩容,体验数据归档带来的成本优势。
|
2月前
|
关系型数据库 数据库 数据安全/隐私保护
"告别繁琐!Python大神揭秘:如何一键定制阿里云RDS备份策略,让数据安全与效率并肩飞,轻松玩转云端数据库!"
【8月更文挑战第14天】在云计算时代,数据库安全至关重要。阿里云RDS提供自动备份,但标准策略难以适应所有场景。传统手动备份灵活性差、管理成本高且恢复效率低。本文对比手动备份,介绍使用Python自定义阿里云RDS备份策略的方法,实现动态调整备份频率、集中管理和智能决策,提升备份效率与数据安全性。示例代码演示如何创建自动备份任务。通过自动化与智能化备份管理,支持企业数字化转型。
44 2
|
3月前
|
关系型数据库 Serverless 数据库
函数计算产品使用问题之如何访问阿里云的RDS
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
3月前
|
关系型数据库 MySQL Serverless
函数计算产品使用问题之调用RDS MySQL的步骤是怎样的
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
2月前
|
SQL 关系型数据库 MySQL
MySql⭐一、配置MySql数据库,并创建一个表单
MySql⭐一、配置MySql数据库,并创建一个表单
|
3月前
|
消息中间件 关系型数据库 数据库
实时计算 Flink版操作报错合集之在使用RDS数据库作为源端,遇到只能同步21个任务,是什么导致的
在使用实时计算Flink版过程中,可能会遇到各种错误,了解这些错误的原因及解决方法对于高效排错至关重要。针对具体问题,查看Flink的日志是关键,它们通常会提供更详细的错误信息和堆栈跟踪,有助于定位问题。此外,Flink社区文档和官方论坛也是寻求帮助的好去处。以下是一些常见的操作报错及其可能的原因与解决策略。
|
3月前
|
开发框架 前端开发 关系型数据库
ABP框架使用Mysql数据库,以及基于SQLServer创建Mysql数据库的架构和数据
ABP框架使用Mysql数据库,以及基于SQLServer创建Mysql数据库的架构和数据
|
2月前
|
关系型数据库 MySQL 数据库
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
RDS MySQL灾备服务协同解决方案构建问题之数据库备份数据的云上云下迁移如何解决
|
2月前
|
SQL 关系型数据库 数据库
数据库空间之谜:彻底解决RDS for SQL Server的空间难题
【8月更文挑战第16天】在管理阿里云RDS for SQL Server时,合理排查与解决空间问题是确保数据库性能稳定的关键。常见问题包括数据文件增长、日志文件膨胀及索引碎片累积。利用SQL Server的动态管理视图(DMV)可有效监测文件使用情况、日志空间及索引碎片化程度。例如,使用`sp_spaceused`检查文件使用量,`sys.dm_db_log_space_usage`监控日志空间,`sys.dm_db_index_physical_stats`识别索引碎片。同时,合理的备份策略和文件组设置也有助于优化空间使用,确保数据库高效运行。
50 2
下一篇
无影云桌面