AI 助理
备案控制台
开发者社区 数据库 文章 正文

自建Percona5.7.23同步阿里云RDS(MySQL5.6)TokuDB数据库

2018-11-12 2748
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS PostgreSQL，高可用系列 2核4GB
云数据库 RDS MySQL，高可用系列 2核4GB
简介： 阿里云RDS支持TokuDB引擎，具有高压缩，高写入性能，读性能和InnoDB差不多。本文详解Percona MySQL5.7.23（包含TokuDB引擎）二进制的搭建，以及使用RDS备份文件恢复数据和搭建GTID同步到自建Percona MySQL5.7.23的过程。

1. 安装二进制 Percona Server for MySQL 5.7.23

1. 1 下载二进制 Percona Server for MySQL 5.7.23

命令: 


wget -c https://www.percona.com/downloads/Percona-Server-LATEST/Percona-Server-5.7.23-23/binary/tarball/Percona-Server-5.7.23-23-Linux.x86_64.ssl102.tar.g

2.2 安装依赖

2.2.1. 更新系统 和安装依赖


yum -y update
yum install libatomic.x86_64 atomic.x86_64

2.2.2 更新GCC

Percona Server for MySQL 5.7.23需要GLIBCXX 3.4.21, 如果用户的GLIBCXX低于该本，启动MySQL时，无法成功，并且不输出任何错误信息1) 检查GLIBCXX版本


strings /usr/lib64/libstdc++.so.6 | grep GLIBCXX
GLIBCXX_3.4
GLIBCXX_3.4.1
GLIBCXX_3.4.2
GLIBCXX_3.4.3
GLIBCXX_3.4.4
GLIBCXX_3.4.5
GLIBCXX_3.4.6
GLIBCXX_3.4.7
GLIBCXX_3.4.8
GLIBCXX_3.4.9
GLIBCXX_3.4.10
GLIBCXX_3.4.11
GLIBCXX_3.4.12
GLIBCXX_3.4.13
GLIBCXX_3.4.14
GLIBCXX_3.4.15
GLIBCXX_3.4.16
GLIBCXX_3.4.17
GLIBCXX_3.4.18
GLIBCXX_3.4.19
GLIBCXX_DEBUG_MESSAGE_LENGTH


2) 如果检索出来GLIBCXX版本低于3.4.21，则添加更新源

vim /etc/yum.repos.d/FedoraRepo.repo
[warning:fedora]
name=fedora
mirrorlist=http://mirrors.fedoraproject.org/mirrorlist?repo=fedora-23&arch=$basearch
enabled=1
gpgcheck=1
gpgkey=https://getfedora.org/static/34EC9CBA.txt

3) 更新GCC

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

4) 检查GLIBCXX版本


$ strings /usr/lib64/libstdc++.so.6 | grep LIBCXX
GLIBCXX_3.4
GLIBCXX_3.4.1
GLIBCXX_3.4.2
GLIBCXX_3.4.3
GLIBCXX_3.4.4
GLIBCXX_3.4.5
GLIBCXX_3.4.6
GLIBCXX_3.4.7
GLIBCXX_3.4.8
GLIBCXX_3.4.9
GLIBCXX_3.4.10
GLIBCXX_3.4.11
GLIBCXX_3.4.12
GLIBCXX_3.4.13
GLIBCXX_3.4.14
GLIBCXX_3.4.15
GLIBCXX_3.4.16
GLIBCXX_3.4.17
GLIBCXX_3.4.18
GLIBCXX_3.4.19
GLIBCXX_3.4.20
GLIBCXX_3.4.21
GLIBCXX_DEBUG_MESSAGE_LENGTH


5) 删除刚才添加的源刚才添加的源和系统自带的源有一些冲突，所以更新完gcc，g++后需要删除


rm /etc/yum.repos.d/FedoraRepo.repo

2.2.3 编译安装openssl

wget https://www.openssl.org/source/openssl-1.1.1.tar.gz
tar zcvf openssl-1.1.1.tar.gz
cd openssl-1.1.1
./config
make
make install
ln -s /usr/local/lib64/libssl.so.1.1 /usr/lib64/libssl.so.1.1
ln -s  /usr/local/lib64/libcrypto.so.1.1  /usr/lib64/libcrypto.so.1.1

2.3 安装二进制Percona Server MySQL 5.7

2.3.1 添加用户组

groupadd mysql
useradd -g mysql -d /usr/local/mysql -s /sbin/nologin -M mysql

2.3.2 解压安装包

tar zxvf Percona-Server-5.7.23-23-Linux.x86_64.ssl102.tar.gz
mv Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /opt

2.3.3 添加MySQL到系统

1) 创建符号链接


ln -s /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102 /usr/local/mysql

2) 修改系统环境变量

vim /etc/profile

在文件末尾添加export PATH="/usr/local/mysql/bin/:$PATH" 

3) 使环境变量生效

source /etc/profile

2.3.4 初始化

cd /usr/local/mysql
./bin/mysqld --defaults-file=/etc/my.cnf --initialize

2.3.4 添加启动脚本

cp /opt/Percona-Server-5.7.23-23-Linux.x86_64.ssl102/support-files/mysql.server /etc/init.d/mysqld

修改文件/etc/init.d/mysqld把文件中的Percona-Server-5.7.23-23-Linux.x86_64.ssl102都替换成mysql

2.3.5. 启动mysql

 /etc/init.d/mysqld restart

2.3.6. 设置root密码

1) 获取初始密码

grep "temporary password" /data/mysql/mysql3306/data/error.log

2) 修改root密码

cd /usr/local/mysql
./bin/mysql_secure_installation

2.4、 配置TokuDB引擎及参数

2.4.1 禁掉操作系统大页的支持

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

如果不修改，使用tokudb引擎的时候，会在error.log中报错

Transparent huge pages are enabled, according to /sys/kernel/mm/redhat_transparent_hugepage/enabled
Transparent huge pages are enabled, according to /sys/kernel/mm/transparent_hugepage/enabled

2.4.2 安装TokuDB引擎

ps_tokudb_admin --enable -uroot -p

2.4.3 添加malloc库为jemalloc

1) 拷贝MySQL版本对应的jemalloc

cp /usr/local/mysql/lib/mysql/libjemalloc.so* /usr/lib64/

2) 在/etc/my.cnf中添加malloc库使用jemalloc

[mysqld_safe]
thp-setting=never
malloc-lib=/usr/lib64/libjemalloc.so

3) 配置tokudb参数

plugin-dir = /usr/local/mysql/lib/mysql/plugin
plugin-load=ha_tokudb.so
tokudb_row_format = tokudb_zlib
tokudb_cache_size = 1G
tokudb_commit_sync = 1
tokudb_directio = 1
tokudb_read_block_size = 128K
tokudb_read_buf_size = 128K
tokudb_support_xa = 1
tokudb_directio = 0
#tokudb_pk_insert_mode = ON
tokudb_hide_default_row_format = ON
tokudb_lock_timeout_debug = 1

2.4.4 重启MySQL

/etc/init.d/mysqld restart

2. 下载阿里云RDS全量备份文件

2.1 登陆阿里云RDS控制台获取备份文件下载地址

2.2 下载备份文件

登陆云服务器，使用wget下载数据备份文件，命令格式如下:


wget -c '<数据备份文件内网下载地址>' -O (大写的O) <自定义文件名>.tar.gz

参数说明:

  • -c: 启用断点续传 模式
  • -O: 将下载的结果保持为指定文件(使用URL中包含的文件名后缀.tar.gz或者.xb.gz)

2.3 停止MySQL


/etc/init.d/mysqld stop

2.4 删除MySQL data目录下所有文件

如: rm -r /data/mysql/var/3306/

2.5 解压RDS备份文件到MySQL data目录

  • RDS备份文件格式为.tar.gz
tar -izxvf <数据备份文件名>.tar.gz  -C /data/mysql/var/3306/
  • RDS备份文件格式为.xb.gz
gzip -d -c <数据备份文件名>.xb.gz | xbstream -x -v -C /data/mysql/var/3306/

3. 安装tokudb-xtrabackup

3.1下载tokudb-xtrabackup


 git clone https://github.com/xelabs/tokudb-xtrabackup.git

3.2 编译安装tokudb-xtrabackup

1) 安装依赖

yum install cmake gcc gcc-c++ libaio libaio-devel automake autoconf bison libtool ncurses-devel libgcrypt-devel libev-devel libcurl-devel vim-common

2) 编译安装tokudb-xtrabackup

cmake .\
  -DBUILD_CONFIG=xtrabackup_release\
  -DWITH_BOOST=extra/boost/boost_1_59_0.tar.gz\
  -DWITH_MAN_PAGES=OFF\
  -DCMAKE_INSTALL_PREFIX=/usr/local/xtrabackup_xelabs/

make
make install

4. 备份恢复

4.1 数据文件恢复

 /usr/local/xtrabackup_xelabs/bin/innobackupex --defaults-file=/data/mysql/var/3306/backup-my.cnf --apply-log /data/mysql/var/3306/

4.2 启动MySQL

/etc/init.d/mysqld start

4.3 登陆MySQL

mysql -uroot -h127.0.0.1 -p

如果登陆失败，需按照如下步骤进行:1) 在MySQL配置文件中添加skip-grant-tables,然后重启MySQL2) 使用mysql -uroot -p -h127.0.0.13) 修改root密码: update mysql.user set authentication_string=password('密码') where user='root' and Host = '127.0.0.1';4) 删除RDS多余的表: drop table rds_extra;5) 更新权限: flush privileges;

4.4 更新数据库

由于备份文件是RDS MySQL5.6，而自建数据库是MySQL5.7，所以需要使用更新命令更新一下数据库表，命令如下

mysql_upgrade -u root  -h 127.0.0.1 -p   --force

4.5 重启数据库

/etc/init.d/mysqld start

5. 创建gtid同步

5.1 删除数据库trigger

1) 查看triggers

use 数据库；
show triggers;

2) 删除trigger

drop trigger trigger_名字

5.2 获取gtid值

cat /data/mysql/var/3306/xtrabackup_info # 获取GTID of the last change值

5.3 配置同步

1) 重置复制

stop slave;
reset slave all;
reset master;

2) 设置复制

set global gtid_purged='gtid值';

CHANGE MASTER TO
  MASTER_HOST='xxxxx.mysql.rds.aliyuncs.com',
  MASTER_USER='dt_repl',
  MASTER_PASSWORD='xxxxx',
  MASTER_PORT=3306,
  MASTER_AUTO_POSITION=1,
  MASTER_CONNECT_RETRY=10;

3) 启动复制

start slave;

4) 查看复制状态

show slave status\G;
文章标签：
云数据库 RDS MySQL 版
关系型数据库
MySQL
Linux
数据库
RDS
关键词：
阿里云数据库
云数据库 RDS mysql
rds云数据库 RDS MySQL 版
mysql数据库
云数据库 RDS MySQL 版数据库
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发，帮助IT从业者们通过“阿里云Web应用上云解决方案”，了解一个企业级Web应用上云的常见架构，了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品：云数据库RDS MySQL 版 阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
沈欧邦
目录
相关文章
数据库知识分享者小北
|
10天前
|
数据采集 数据可视化 数据挖掘
阿里云瑶池数据库 Data Agent，数据安全，分析准确，让数据更有价值！
Data Agent 是阿里云瑶池数据库推出的智能数据体产品，融合 Data+AI 与 Agentic AI 技术，覆盖数据全生命周期。支持多源数据接入，可自主规划分析任务、生成代码并输出可视化洞察报告，让业务人员零门槛获取专业级分析结果，助力企业高效实现数据驱动决策。
数据库知识分享者小北
159 10
游客vphb4ae2je2zi
|
11天前
|
关系型数据库 MySQL 分布式数据库
阿里云PolarDB云原生数据库收费价格：MySQL和PostgreSQL详细介绍
阿里云PolarDB兼容MySQL、PostgreSQL及Oracle语法，支持集中式与分布式架构。标准版2核4G年费1116元起，企业版最高性能达4核16G，支持HTAP与多级高可用，广泛应用于金融、政务、互联网等领域，TCO成本降低50%。
游客vphb4ae2je2zi
110 6
游客vphb4ae2je2zi
|
12天前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格：MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB，多种引擎优惠上线！MySQL倚天版88元/年，SQL Server 2核4G仅299元/年，PostgreSQL 227元/年起。高可用、可弹性伸缩，安全稳定。详情见官网活动页。
游客vphb4ae2je2zi
178 5
1243767626601764
|
12天前
|
SQL 关系型数据库 MySQL
Mysql数据恢复—Mysql数据库delete删除后数据恢复案例
本地服务器，操作系统为windows server。服务器上部署mysql单实例，innodb引擎，独立表空间。未进行数据库备份，未开启binlog。 人为误操作使用Delete命令删除数据时未添加where子句，导致全表数据被删除。删除后未对该表进行任何操作。需要恢复误删除的数据。 在本案例中的mysql数据库未进行备份，也未开启binlog日志，无法直接还原数据库。
1243767626601764
107 2
谙忆
|
SQL Java 数据库连接
MySQL---数据库从入门走向大神系列(十五)-Apache的DBUtils框架使用
MySQL---数据库从入门走向大神系列(十五)-Apache的DBUtils框架使用
谙忆
320 0
MySQL---数据库从入门走向大神系列(十五)-Apache的DBUtils框架使用
谙忆
|
SQL 关系型数据库 MySQL
MySQL---数据库从入门走向大神系列(六)-事务处理与事务隔离(锁机制)
MySQL---数据库从入门走向大神系列(六)-事务处理与事务隔离(锁机制)
谙忆
226 0
MySQL---数据库从入门走向大神系列(六)-事务处理与事务隔离(锁机制)
谙忆
|
存储 SQL 关系型数据库
MySQL---数据库从入门走向大神系列(五)-存储过程
MySQL---数据库从入门走向大神系列(五)-存储过程
谙忆
211 0
MySQL---数据库从入门走向大神系列(五)-存储过程
谙忆
|
数据库
MySQL---数据库从入门走向大神系列(四)-子查询、表与表之间的关系(3)
MySQL---数据库从入门走向大神系列(四)-子查询、表与表之间的关系
谙忆
275 0
MySQL---数据库从入门走向大神系列(四)-子查询、表与表之间的关系(3)
谙忆
|
SQL 关系型数据库 MySQL
MySQL---数据库从入门走向大神系列(二)-用Java对MySQL进行增删改查
MySQL---数据库从入门走向大神系列(二)-用Java对MySQL进行增删改查
谙忆
280 0
MySQL---数据库从入门走向大神系列(二)-用Java对MySQL进行增删改查
谙忆
|
数据库
MySQL---数据库从入门走向大神系列(一)-基础入门(2)
MySQL---数据库从入门走向大神系列(一)-基础入门(2)
谙忆
191 0
MySQL---数据库从入门走向大神系列(一)-基础入门(2)

热门文章

最新文章

  • 1
    数据库操作三基石：DDL、DML、DQL 技术入门指南
  • 2
    聚光灯已就位！阿里云瑶池数据库邀你征战Cursor首届实战征文大赛
  • 3
    Spring Boot配置优化：Tomcat+数据库+缓存+日志，全场景教程
  • 4
    【赵渝强老师】Oracle数据库配置助手：DBCA
  • 5
    DBeaver Ultimate Edtion 25.2 发布 - 通用数据库工具
  • 6
    阿里云瑶池数据库 Data Agent，数据安全，分析准确，让数据更有价值！
  • 7
    SQL Server 2025 RC1 发布 - 从本地到云端的 AI 就绪企业数据库
  • 8
    媒体声音 | 专访阿里云数据库周文超：GenAI时代，数据管理底座强势升级
  • 9
    怎么保障数据库在凭据变更过程中的安全与稳定？
  • 10
    Oracle数据库创建表空间和索引的SQL语法示例
  • 1
    RDS用多了，你还知道MySQL主从复制底层原理和实现方案吗？
    418
  • 2
    【PG锦囊】阿里云 RDS PostgreSQL 版插件—AI 插件（rds_ai）
    291
  • 3
    瑶池数据库微课堂｜PolarDB/RDS+ADB Zero-ETL：一种免费、易用、高效的数据同步方式
    181
  • 4
    云端问道20期方案教学-体验RDS通用云盘核心能力
    116
  • 5
    使用云数据库RDS和低代码开发平台“魔笔”，高效构建门户网站，完成任务领智能台灯！
    205
  • 6
    RDS PostgreSQL版发布 rds_duckdb 插件！
    269
  • 7
    体验领礼啦！体验自建数据库迁移到阿里云数据库RDS，领取桌面置物架！
    220
  • 8
    自建数据库迁移到云数据库RDS
    244
  • 9
    【实践】体验RDS通用云盘核心能力
    94
  • 10
    体验自建数据库迁移到云数据库RDS，领取桌面置物架！
    117

    • 相关课程

    更多
  • 数据库的前世今生
  • 数据库核心概念
  • 从传统数据库到云数据库演进
  • 数据库常见问题排查
  • 数据库及SQL/MySQL基础
  • 高校精品课-西安交通大学 -数据库理论与技术

    • 相关电子书

    更多
  • 国产数据库研制人才培养实践
  • 阿里云&信通院《Serverless数据库技术研究报告》
  • DTCC 2022大会集锦《云原生一站式数据库技术与实践》

    • 推荐镜像

    更多
  • mysql
    • 下一篇
    深度 | 从0到3.0，揭秘阿里云洛神云网络的进化之路