AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

MySQL Innodb Cluster搭建与初探

2017-11-06 5334
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
简介： -------------------------------------------------------------------------------------------------正文-----------------------------------...
-------------------------------------------------------------------------------------------------正文---------------------------------------------------------------------------------------------------------------
场景:
有些空余时间了, 想要测试一下Group Replication与MySQL Router~\(≧▽≦)/~

结论:
可用性方面不错;
性能方面其实还不错, 不过写入能力还是老问题, 读多写少的业务可以关注一下Innodb Cluster;

测试环境:

MySQL 8.0.3-rc
MySQL Router 8.0
MySQL shell
sysbench 1.0 (以后再补一篇测试数据......)

虚拟机:

4C24G, 2.00GHz  x 5 (MySQL 8.0.3-rc)
4C24G, 2.40GHz  x 4 (MySQL 8.0.3-rc)
8C24G, 2.40GHz  x 1 (MySQL Router)

搭建过程:

1. 官方源直接安装MySQL相关的所有包, apt-get/yum

2. MySQL的配置, 除了常规配置以外, 推荐加上如下的部分, loose开头的参数表示如果不存在group_replication插件, 则忽略这些配置

点击(此处)折叠或打开

  1. report_host = 192.168.0.100                      ##GR插件会用这个report_host来标记Group中的每个MySQL实例, 确保每个MySQL实例的hostname不一样, 或者这个report_host不一样
  2. log_bin = /home/mysql/mysql-binlog               ##必须开启
  3. log_slave_updates = ON                           ##必须开启
  4. master_info_repository = TABLE                   ##必须使用Table
  5. relay_log_info_repository = TABLE                ##必须使用Table
  6. gtid_mode = ON                                   ##必须开启GTID
  7. enforce_gtid_consistency = ON                    ##必须开启
  8. slave_preserve_commit_order = ON                 ##确保GR_applier按照一致的顺序复现事务
  9. binlog_checksum = NONE                           ##必须设置为NONE
  10. transaction_write_set_extraction=XXHASH64        ##必须设置为XXHASH64

  12. #group_replication = ON                           ##开启Group Replication插件, 安装插件之后再开启
  13. loose-group_replication_start_on_boot=off        ##默认关闭, 防止重启后自动创建新的Group
  14. loose-group_replication_local_address= "192.168.0.100:13306"    ##官方工具会默认使用13306端口作为插件的端口, 设置为13306方便测试
  15. loose-group_replication_group_seeds= "192.168.0.100:13306,192.168.1.100:13306"    ##官方工具貌似不会主动管理这个参数, 手动加上
  16. loose-group_replication_bootstrap_group=off      ##默认关闭, 防止自动创建新的Group
  17. loose-group_replication_ip_whitelist = '192.168.0.0/24,192.168.1.0/24'    ##推荐在初始化前手工加上, 控制哪些ip的机器可以加入Group

PS: 测试中, 全程使用innodb_flush_log_at_trx_commit = 2 和 sync_binlog = 0 的设置,  双1的性能实在是弱......_(:з」∠)_

3 . 启动所有的MySQL实例, 并安装插件

点击(此处)折叠或打开

  1. INSTALL PLUGIN group_replication SONAME 'group_replication.so'

4. 在mysql中创建用户temp, 测试图方便, 用ALL on *.*就行, 在官方文档中, 有列出这个用户需要的具体权限, 如下

点击(此处)折叠或打开

  1. GRANT ALL PRIVILEGES ON mysql_innodb_cluster_metadata.* TO your_user@'%' WITH GRANT OPTION;
  2. GRANT RELOAD, SHUTDOWN, PROCESS, FILE, SUPER, REPLICATION SLAVE, REPLICATION CLIENT, \
  3. CREATE USER ON *.* TO your_user@'%' WITH GRANT OPTION;
  4. GRANT SELECT ON performance_schema.* TO your_user@'%' WITH GRANT OPTION;
  5. GRANT SELECT ON *.* TO your_user@'%' WITH GRANT OPTION;
  6. GRANT SELECT, INSERT, UPDATE, DELETE ON mysql.* TO your_user@'%' WITH GRANT OPTION

还有一个需要注意的是: 官方推荐修改/etc/hosts, 实测中, 把localhost指向内网IP, 或者是创建temp@localhost的同权限用户也行, 官方的工具会用到@localhost的登录方式;

PS: with grant option很重要, 因为工具会新建一个mysql_route_xxxx用户, 以及存储meta的新数据库;

4. 在Group Primary的机器上启动MySQL shell, 这个很重要, 因为第3点中提到的:   官方的工具会用到@localhost的登录方式
PS: 推荐用mysqlsh --log-level=DEBUG3来启动mysql shell, 且不要关闭wizard;

5. 进入MySQL shell以后, 可以选择使用java script还是python, 这里比较习惯python, 就用python的方式, 和js基本没区别;


6. dba.help()命令能看到支持的所有命令, 搭建过程中主要用到的主要有这几个:
    check_instance_configuration :  检查实例的参数配置是否符合搭建Group的要求
    configure_local_instance :          持久化实例的配置参数到配置文件
    create_cluster :                            创建innodb cluster
    get_cluster :                                 获取这个实例所属innodb cluster的信息
    \connect 用户名@ip:port:  登录到某个实例, 一般为本机

7. 使用dba. check_instance_co nfiguration('temp@192.168.0.100:3306')来检测配置参数, 按照第一步设置之后, 应该是直接返回OK的, 如果还有缺失的话, 就手动补上吧
PS: 这个工具可以自动把参数修改成符合要求的设置, 有兴趣可以研究一下, 这里就不唠叨了ㄟ( ▔, ▔ )ㄏ


8. 接下来就是使用create_cluster来创建innodb cluster了, 这里放上比较常用的一些设置信息


简单说明部分参数:
multiMaster : 如果要创建多主集群, 就需要单独指定这个参数, 否则默认创建单主集群(类似于一主多从的复制架构);
adoptFromGR : 如果已经手动把Group搭建起来了, 需要在这个Group上创建新的innodb cluster, 那就需要显式指定这个参数, 且关闭wizard模式, 关掉wizard模式之后, 需要再额外添加创建集群的用户名和密码作为参数, 推荐开启wizard, 并全程使用MySQL shell搭建innodb cluster;
ipWhitelist : 在测试的时候, 可能是工具没有管理seed这个参数, 所以在创建的时候即便指定了白名单, 也无法向Group里面添加新实例;



PS: 在python模式下, 如果需要添加参数, 就这么写

点击(此处)折叠或打开

  1. cluster = cluster.create_cluster('temp@192.168.0.100:3306', {'multiMaster':1,'adoptFromGR':1})


9. 开启wizard的情况下(本文默认开启), 使用如下命令创建Cluster: 

点击(此处)折叠或打开

  1. cluster = dba.create_cluster('testCluster')
如果没问题的话, 就会有如下提示信息


10. 集群创建成功以后, 用add_instance命令把所有的实例都添加到群组就好了, 在官方的宣讲中, 暂时不支持超过9个实例组成一个Group, 实际上, 不超过7个比较好, auto_increament的默认设置是7;

11. 这时候登录数据库, 就会看到多出来一个库, 叫做mysql_innodb_cluster_metadata, 里面有cluster的一些信息, 有兴趣可以看看;

12. 在其他的虚拟机上安装MySQL Router, 然后用bootstrap来自动生成配置;

点击(此处)折叠或打开

  1. mysqlrouter --bootstrap temp@192.168.0.100:3306 --directory /home/mysqlrouter/ --user=mysqlrouter
在对应的目录下会有start.sh和stop.sh来启动和关闭mysqlrouter
PS : stop.sh可能会关不掉mysqlrouter, 留意一下, 脚本的问题

13. 读写默认使用6446, 只读使用6447, 这时候就可以随意进行测试了;

14. 如果要创建多主模式, 需要调整两个参数

点击(此处)折叠或打开

  1. group_replication_single_primary_mode = OFF
  2. group_replication_enforce_update_everywhere_checks = ON

PPS: MySQLRouter会根据meta的数据来动态调整读写和只读连接, 比如说Primary挂掉了, meta发生了变化, MySQLRouter会在很短的时间内发现并把流量切换到新的Primary;

PPPPPS: 性能测试数据待整理
文章标签：
云数据库 RDS MySQL 版
关系型数据库
MySQL
Python
Shell
测试技术
关键词：
云数据库 RDS MySQL 版innodb
mysql innodb
云数据库 RDS MySQL 版cluster
innodb mysql
云数据库 RDS MySQL 版搭建
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
wangwenan
目录
相关文章
赵渝强老师
|
15天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件，用于存放InnoDB数据和索引。重做日志文件（redo log）确保数据的可靠性和事务的持久性，其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
赵渝强老师
123 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
赵渝强老师
|
15天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的表空间
InnoDB是MySQL默认的存储引擎，主要由存储结构、内存结构和线程结构组成。其存储结构分为逻辑和物理两部分，逻辑存储结构包括表空间、段、区和页。表空间是InnoDB逻辑结构的最高层，所有数据都存放在其中。默认情况下，InnoDB有一个共享表空间ibdata1，用于存放撤销信息、系统事务信息等。启用参数`innodb_file_per_table`后，每张表的数据可以单独存放在一个表空间内，但撤销信息等仍存放在共享表空间中。
赵渝强老师
38 6
赵渝强老师
|
15天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的段、区和页
MySQL的InnoDB存储引擎逻辑存储结构与Oracle相似，包括表空间、段、区和页。表空间由段和页组成，段包括数据段、索引段等。区是1MB的连续空间，页是16KB的最小物理存储单位。InnoDB是面向行的存储引擎，每个页最多可存放7992行记录。
赵渝强老师
36 5
赵渝强老师
|
16天前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的InnoDB存储引擎
InnoDB是MySQL的默认存储引擎，广泛应用于互联网公司。它支持事务、行级锁、外键和高效处理大量数据。InnoDB的主要特性包括解决不可重复读和幻读问题、高并发度、B+树索引等。其存储结构分为逻辑和物理两部分，内存结构类似Oracle的SGA和PGA，线程结构包括主线程、I/O线程和其他辅助线程。
赵渝强老师
28 0
【赵渝强老师】MySQL的InnoDB存储引擎
路卿老师
|
15天前
|
SQL 关系型数据库 MySQL
12 PHP配置数据库MySQL
路老师分享了PHP操作MySQL数据库的方法，包括安装并连接MySQL服务器、选择数据库、执行SQL语句（如插入、更新、删除和查询），以及将结果集返回到数组。通过具体示例代码，详细介绍了每一步的操作流程，帮助读者快速入门PHP与MySQL的交互。
路卿老师
29 1
听风de歌
|
17天前
|
SQL 关系型数据库 MySQL
go语言数据库中mysql驱动安装
【11月更文挑战第2天】
听风de歌
30 4
m1a6
|
1月前
|
存储 关系型数据库 MySQL
Mysql(4)—数据库索引
数据库索引是用于提高数据检索效率的数据结构，类似于书籍中的索引。它允许用户快速找到数据，而无需扫描整个表。MySQL中的索引可以显著提升查询速度，使数据库操作更加高效。索引的发展经历了从无索引、简单索引到B-树、哈希索引、位图索引、全文索引等多个阶段。
m1a6
64 3
Mysql(4)—数据库索引
土木林森
|
24天前
|
监控 关系型数据库 MySQL
数据库优化：MySQL索引策略与查询性能调优实战
【10月更文挑战第27天】本文深入探讨了MySQL的索引策略和查询性能调优技巧。通过介绍B-Tree索引、哈希索引和全文索引等不同类型，以及如何创建和维护索引，结合实战案例分析查询执行计划，帮助读者掌握提升查询性能的方法。定期优化索引和调整查询语句是提高数据库性能的关键。
土木林森
123 1
众所周知
|
26天前
|
关系型数据库 MySQL Linux
在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤，包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。
本文介绍了在 CentOS 7 中通过编译源码方式安装 MySQL 数据库的详细步骤，包括准备工作、下载源码、编译安装、配置 MySQL 服务、登录设置等。同时，文章还对比了编译源码安装与使用 RPM 包安装的优缺点，帮助读者根据需求选择最合适的方法。通过具体案例，展示了编译源码安装的灵活性和定制性。
众所周知
79 2
众所周知
|
29天前
|
存储 关系型数据库 MySQL
MySQL vs. PostgreSQL：选择适合你的开源数据库
在众多开源数据库中，MySQL和PostgreSQL无疑是最受欢迎的两个。它们都有着强大的功能、广泛的社区支持和丰富的生态系统。然而，它们在设计理念、性能特点、功能特性等方面存在着显著的差异。本文将从这三个方面对MySQL和PostgreSQL进行比较，以帮助您选择更适合您需求的开源数据库。
众所周知
105 4

热门文章

最新文章

  • 1
    MySQL · 引擎特性 · InnoDB 大字段压缩
  • 2
    MySQL · 引擎特性 · InnoDB redo log漫游
  • 3
    innodb重做日志缓冲
  • 4
    庖丁解InnoDB之REDO LOG
  • 5
    mysql 5.1 禁用innodb
  • 6
    重复执行show innodb status的方法
  • 7
    MySQL存储引擎MyISAM与InnoDB的优劣
  • 8
    innodb的文件组成
  • 9
    InnoDB的主键选择与插入优化
  • 10
    InnoDB的数据页结构
  • 1
    MySQL 参数innodb_read_io_threads
    611
  • 2
    实时计算 Flink版产品使用合集之从MySQL到Flink 1.16.2 Flink-SQL的数据同步工作出现了一个异常如何解决
    129
  • 3
    实时计算 Flink版产品使用合集之如果在 MySQL 表中为某个字段设置了默认值，并且在插入数据时指定了该字段为 NULL，那么 MySQL 是否会使用默认值来填充这个字段
    57
  • 4
    实时计算 Flink版产品使用合集之mysql通过flink cdc同步数据，有没有办法所有表共用一个dump线程
    46
  • 5
    实时计算 Flink版产品使用合集之如果MySQL的binlog保存时间只有三天，那么三天之前的数据是不是会通过Doris的外表手动插入
    56
  • 6
    《MySQL 入门教程》第 05 篇 账户和权限，Java高并发编程详解深入理解pdf
    54
  • 7
    实时计算 Flink版产品使用合集之支持 MySQL 的并行复制吗
    73
  • 8
    实时计算 Flink版产品使用合集之flink-connector-mysql-cdc 和 flink-sql-connector-mysql-cdc有什么区别
    375
  • 9
    Mysql优化提高笔记整理，来自于一位鹅厂大佬的笔记，阿里P7亲自教你
    61
  • 10
    Echarts+vue+java+mysql实现数据可视化
    185

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • One Box： 解读事务与分析一体化数据库 HybridDB for MySQL
  • One Box：解读事务与分析一体化数据库HybridDB for MySQL
  • 如何支撑HTAP场景-HybridDB for MySQL系统架构和技术演进

    • 相关实验场景

    更多
  • MySQL基础-学生管理系统数据库设计
  • 如何快速连接云数据库RDS MySQL
  • MySQL数据库快速部署实践
  • MyBase MySQL实例资源灵活弹配
  • RDS MySQL大促场景下的智能化弹性
  • 如何开通MySQL的专属集群

    • 推荐镜像

    更多
  • mysql
  • postgresql
  • mariadb
    • 下一篇
    无影云桌面