AI 助理
备案控制台
开发者社区 数据库 文章 正文

MySQL GR(group replication) Single Primary

2018-03-20 5009
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 RDS MySQL，集群系列 2核4GB
推荐场景：
搭建个人博客
RDS MySQL Serverless 基础系列，0.5-2RCU 50GB
推荐场景：
学生管理系统数据库设计 搭建个人博客
RDS MySQL Serverless 高可用系列，价值2615元额度，1个月
简介： 组复制是一种可用于实现容错系统的技术。复制组是一个通过消息传递相互交互的server集群。通信层提供了原子消息和完全有序信息交互等保障机制。MySQL组复制以这些功能和架构为基础，实现了基于复制协议的多主更新。

1、组复制是一种可用于实现容错系统的技术。复制组是一个通过消息传递相互交互的server集群。通信层提供了原子消息和完全有序信息交互等保障机制。MySQL组复制以这些功能和架构为基础，实现了基于复制协议的多主更新。复制组由多个server成员构成，并且组中的每个server成员可以独立地执行事务。但所有读写事务只有在冲突检测成功后才会提交。只读事务不需要在冲突检测，可以立即提交。换句话说，对于任何读写事务，提交操作并不是由始发server单向决定的，而是由组来决定是否提交。准确地说，在始发server上，当事务准备好提交时，该server会广播写入值(已改变的行)和对应的写入集(已更新的行的唯一标识符)。然后会为该事务建立一个全局的顺序。最终，这意味着所有server成员以相同的顺序接收同一组事务。因此，所有server成员以相同的顺序应用相同的更改，以确保组内一致。在不同server上并发执行的事务可能存在冲突。根据组复制的冲突检测机制，对两个不同的并发事务的写集合进行检测。如在不同的server成员执行两个更新同一行的并发事务，则会出现冲突。排在最前面的事务可以在所有server成员上提交，第二个事务在源server上回滚，并在组中的其他server上删除。 这就是分布式的先提交当选规则。
_1

组复制技术的核心是 Paxos 算法实现的，是组复制中保证数据一致性复制的关键， 它充当了组通信系统的引擎。该协议保障了故障检测机制，组成员服务的安全和消息的完全有序传递。

2、部署MySQL GR（group replication）
2.1、环境:

MySQL：5.7.21
Host:IP
gr1:10.10.10.11，gr2:10.10.10.12，gr3:10.10.10.13
Port：3306

2.2、安装依赖包

yum install -y gcc gcc-c++ libaio-devel boost-devel autoconf automake zlib-devel libxml2-devel ncurses-devel libgcrypt-devel libtool-devel openssl-devel bison-devel unzip numactl-devel numactl

2.3、安装MySQL（略）
2.4、配置MySQL参数

[mysql]
prompt = [\\u@\\h][\\d]>\\_

[client]
user = root
password = 111

[mysqld]
# basic settings #
user = mysql
sql_mode = "STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION,NO_ZERO_DATE,NO_ZERO_IN_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER"
autocommit = 1
character_set_server = utf8mb4
transaction_isolation = READ-COMMITTED
explicit_defaults_for_timestamp = 1
max_allowed_packet = 16777216
event_scheduler = 1
basedir = /usr/local/mysql
datadir = /data
auto_increment_increment = 1
auto_increment_offset = 1
lower_case_table_names = 1

# connection #
interactive_timeout = 1800
wait_timeout = 1800
lock_wait_timeout = 1800
skip_name_resolve = 1
max_connections = 512
max_connect_errors = 1000000

# session memory setting #
read_buffer_size = 16777216
read_rnd_buffer_size = 33554432
sort_buffer_size = 33554432
tmp_table_size = 67108864
join_buffer_size = 134217728

# log settings #
log_error = error.log
slow_query_log = 1
slow_query_log_file = slow.log
log_queries_not_using_indexes = 1
log_slow_admin_statements = 1
log_slow_slave_statements = 1
log_throttle_queries_not_using_indexes = 10
expire_logs_days = 90
long_query_time = 2
min_examined_row_limit = 100
binlog-rows-query-log-events = 1
log-bin-trust-function-creators = 1
expire-logs-days = 90
log-slave-updates = 1

# innodb settings #
innodb_page_size = 8192
innodb_buffer_pool_size = 512M
innodb_buffer_pool_instances = 16
innodb_buffer_pool_load_at_startup = 1
innodb_buffer_pool_dump_at_shutdown = 1
innodb_lru_scan_depth = 4096
innodb_lock_wait_timeout = 5
innodb_io_capacity = 10000
innodb_io_capacity_max = 20000
innodb_flush_method = O_DIRECT
innodb_file_format = Barracuda
innodb_file_format_max = Barracuda
innodb_undo_logs = 128
innodb_undo_tablespaces = 3
innodb_flush_neighbors = 0
innodb_log_file_size = 17179869184
innodb_log_files_in_group = 2
innodb_log_buffer_size = 16777216
innodb_purge_threads = 4
innodb_large_prefix = 1
innodb_thread_concurrency = 64
innodb_print_all_deadlocks = 1
innodb_strict_mode = 1
innodb_sort_buffer_size = 67108864
innodb_write_io_threads = 16
innodb_read_io_threads = 16
innodb_file_per_table = 1
innodb_stats_persistent_sample_pages = 64
innodb_autoinc_lock_mode = 2

# replication setting #
master_info_repository = TABLE
relay_log_info_repository = TABLE
sync_binlog = 1
gtid_mode = on
enforce_gtid_consistency = 1
log_slave_updates
binlog_format = ROW
binlog_rows_query_log_events = 1
relay_log = relay.log
relay_log_recovery = 1
binlog_gtid_simple_recovery = 1
slave_skip_errors = ddl_exist_errors
slave-rows-search-algorithms = 'INDEX_SCAN,HASH_SCAN'

# group replication #
transaction_write_set_extraction =XXHASH64
loose-group_replication_group_name = "5e9994a1-84bf-499c-a1cf-4d5f900e793f"  
loose-group_replication_start_on_boot = off
loose-group_replication_local_address  = "10.10.10.11:53306"
loose-group_replication_group_seeds  ="10.10.10.11:53306,10.10.10.12:53306,10.10.10.13:53306"
loose-group_replication_bootstrap_group  =off

[mysqld-5.7]
# new innodb setting #
loose_innodb_numa_interleave = 1
innodb_buffer_pool_dump_pct = 40
innodb_page_cleaners = 16
innodb_undo_log_truncate = 1
innodb_max_undo_log_size = 2G
innodb_purge_rseg_truncate_frequency = 128

# new replication setting #
slave-parallel-type = LOGICAL_CLOCK
slave-parallel-workers = 16
slave_preserve_commit_order=1
slave_transaction_retries=128

# other change setting #
binlog_gtid_simple_recovery = 1
log_timestamps = system
show_compatibility_56 = on

说明:
group_replication变量使用的loose-前缀是指示Server启用时尚未加载复制插件也将继续启动
transaction_write_set_extraction = XXHASH64指示Server必须为每个事务收集写集合，并使用XXHASH64哈希算法将其编码为散列
loose-group_replication_group_name="5e9994a1-84bf-499c-a1cf-4d5f900e793f"表示将加入或者创建的复制组命名为5e9994a1-84bf-499c-a1cf-4d5f900e793f
loose-group_replication_start_on_boot=off 设置为Server启动时不自动启动组复制
loose-group_replication_local_address="10.10.10.11:53306" 绑定本地的10.10.10.11及53306端口接受其他组成员的连接，IP地址必须为其他组成员可正常访问
loose-group_replication_group_seeds="10.10.10.11:53306,10.10.10.12:53306,10.10.10.13:53306"本行为告诉服务器当服务器加入组时，应当连接到10.10.10.11:53306,10.10.10.12:53306,10.10.10.13:53306这些种子服务器进行配置。
loose-group_replication_bootstrap_group = off 配置是否自动引导组

2.5、初始化MySQL

mysqld --initialize-insecure --basedir=/usr/local/mysql --datadir=/data

2.6、设置MySQL密码，并启动

mysqld_safe --user=mysql --skip-grant-tables &
update mysql.user set authentication_string=password('111') where user='root';
FLUSH PRIVILEGES;

mysqld --defaults-file=/etc/my.cnf &

2.7、创建复制用户及密码

set sql_log_bin=0;
grant replication slave,replication client on *.* to 'repl_user'@'%' identified by '111';
flush privileges;
set sql_log_bin=1;

2.8、设置复制用户名及密码

change master to master_user='repl_user',master_password='111' for channel 'group_replication_recovery’;

2.9、安装组复制插件

install plugin group_replication soname 'group_replication.so';
#检查插件是否安装成功
show plugins;

2.10、gr1启动组复制

set global group_replication_bootstrap_group=ON;
START group_replication;
set global group_replication_bootstrap_group=OFF;

2.11、gr2和gr3节点

START group_replication;

3、检查GR状态

select * from performance_schema.replication_group_members;
select * from performance_schema.global_status where VARIABLE_NAME='group_replication_primary_member';
select * from performance_schema.replication_connection_status;
select * from performance_schema.replication_applier_status;

4、部署过程中遇到的报错
错误一：

2018-03-15T06:45:02.805490+08:00 0 [ERROR] mysqld: slave_preserve_commit_order is not supported unless both log_bin and log_slave_updates are enabled.
2018-03-15T06:45:02.805523+08:00 0 [Note] Some of the channels are not created/initialized properly. Check for additional messages above. You will not be able to start replication on those channels until the issue is resolved and the server restarted.
2018-03-15T06:45:02.810826+08:00 0 [Note] Event Scheduler: Loaded 0 events
2018-03-15T06:45:02.811042+08:00 0 [Note] mysqld: ready for connections.
Version: '5.7.21-log'  socket: '/tmp/mysql.sock'  port: 3306  MySQL Community Server (GPL)
2018-03-15T06:45:02.811081+08:00 1 [Note] Event Scheduler: scheduler thread started with id 1
2018-03-15T06:46:40.451807+08:00 3 [Note] 'CHANGE MASTER TO FOR CHANNEL 'group_replication_recovery' executed'. Previous state master_host='', master_port= 3306, master_log_file='', master_log_pos= 4, master_bind=''. New state master_host='', master_port= 3306, master_log_file='', master_log_pos= 4, master_bind=''.
2018-03-15T06:47:48.488841+08:00 3 [ERROR] Plugin group_replication reported: 'Binlog must be enabled for Group Replication'
2018-03-15T06:50:22.444771+08:00 3 [ERROR] Plugin group_replication reported: 'Binlog must be enabled for Group Replication'

解决一：
开启binlog，在参数中添加
log-bin=binlog

错误二：

2018-03-15T06:56:29.282975+08:00 0 [Note] Relay log recovery skipped for group replication channel.
2018-03-15T06:56:29.283010+08:00 0 [Warning] Recovery from master pos 4 and file  for channel 'group_replication_recovery'. Previous relay log pos and relay log file had been set to 4, ./relay-group_replication_recovery.000001 respectively.
2018-03-15T06:56:29.294715+08:00 0 [Note] Event Scheduler: Loaded 0 events
2018-03-15T06:56:29.294977+08:00 0 [Note] mysqld: ready for connections.
Version: '5.7.21-log'  socket: '/tmp/mysql.sock'  port: 3306  MySQL Community Server (GPL)
2018-03-15T06:56:29.295029+08:00 1 [Note] Event Scheduler: scheduler thread started with id 1
2018-03-15T06:56:54.284784+08:00 3 [ERROR] Plugin group_replication reported: 'binlog_checksum should be NONE for Group Replication'
2018-03-15T07:03:49.230847+08:00 3 [ERROR] Plugin group_replication reported: 'binlog_checksum should be NONE for Group Replication'

解决二：
关闭binlog日志的校验
binlog_checksum = NONE

错误三：

2018-03-15T07:30:19.993097+08:00 0 [Note] Plugin group_replication reported: 'new state x_start'
2018-03-15T07:30:19.998411+08:00 0 [Warning] Plugin group_replication reported: 'read failed'
2018-03-15T07:30:20.007051+08:00 0 [ERROR] Plugin group_replication reported: '[GCS] The member was unable to join the group. Local port: 53306'
2018-03-15T07:31:15.950421+08:00 3 [ERROR] Plugin group_replication reported: 'Timeout on wait for view after joining group'
2018-03-15T07:31:15.950516+08:00 3 [Note] Plugin group_replication reported: 'Requesting to leave the group despite of not being a member'
2018-03-15T07:31:15.950557+08:00 3 [ERROR] Plugin group_replication reported: '[GCS] The member is leaving a group without being on one.'
2018-03-15T07:31:15.950733+08:00 3 [Note] Plugin group_replication reported: 'auto_increment_increment is reset to 1'
2018-03-15T07:31:15.950763+08:00 3 [Note] Plugin group_replication reported: 'auto_increment_offset is reset to 1'
2018-03-15T07:31:15.950947+08:00 8 [Note] Error reading relay log event for channel 'group_replication_applier': slave SQL thread was killed
2018-03-15T07:31:15.957958+08:00 5 [Note] Plugin group_replication reported: 'The group replication applier thread was killed'

解决三：
多个节点的UUID设置成一样
loose-group_replication_group_name = "8673f3d4-3410-4959-91c8-834362fe41a2"

错误四：

2018-03-15T07:45:15.633453+08:00 0 [Note] Plugin group_replication reported: 'connecting to 10.10.10.21 53306'
2018-03-15T07:45:16.636380+08:00 0 [Note] Plugin group_replication reported: 'Getting the peer name failed while connecting to server 10.10.10.21 with error 113 -No route to host.'
2018-03-15T07:45:16.636505+08:00 0 [ERROR] Plugin group_replication reported: '[GCS] Error on opening a connection to 10.10.10.21:53306 on local port: 53306.'
2018-03-15T07:45:16.636547+08:00 0 [Note] Plugin group_replication reported: 'connecting to 10.10.10.23 53306'
2018-03-15T07:45:16.637354+08:00 0 [Note] Plugin group_replication reported: 'Getting the peer name failed while connecting to server 10.10.10.23 with error 113 -No route to host.'
2018-03-15T07:45:16.637438+08:00 0 [ERROR] Plugin group_replication reported: '[GCS] Error on opening a connection to 10.10.10.23:53306 on local port: 53306.'
2018-03-15T07:45:16.637496+08:00 0 [Note] Plugin group_replication reported: 'connecting to 10.10.10.21 53306'
2018-03-15T07:45:17.639353+08:00 0 [Note] Plugin group_replication reported: 'Getting the peer name failed while connecting to server 10.10.10.21 with error 113 -No route to host.'
2018-03-15T07:45:17.639478+08:00 0 [ERROR] Plugin group_replication reported: '[GCS] Error on opening a connection to 10.10.10.21:53306 on local port: 53306.'
2018-03-15T07:45:17.639519+08:00 0 [Note] Plugin group_replication reported: 'connecting to 10.10.10.23 53306'
2018-03-15T07:45:17.640317+08:00 0 [Note] Plugin group_replication reported: 'Getting the peer name failed while connecting to server 10.10.10.23 with error 113 -No route to host.'
2018-03-15T07:45:17.640396+08:00 0 [ERROR] Plugin group_replication reported: '[GCS] Error on opening a connection to 10.10.10.23:53306 on local port: 53306.'
2018-03-15T07:45:17.640450+08:00 0 [ERROR] Plugin group_replication reported: '[GCS] Error connecting to all peers. Member join failed. Local port: 53306'
2018-03-15T07:45:17.640570+08:00 0 [Note] Plugin group_replication reported: 'state 4338 action xa_terminate'
2018-03-15T07:45:17.640602+08:00 0 [Note] Plugin group_replication reported: 'new state x_start'
2018-03-15T07:45:17.640613+08:00 0 [Note] Plugin group_replication reported: 'state 4338 action xa_exit'
2018-03-15T07:45:17.640724+08:00 0 [Note] Plugin group_replication reported: 'Exiting xcom thread'
2018-03-15T07:45:17.640740+08:00 0 [Note] Plugin group_replication reported: 'new state x_start'
2018-03-15T07:45:17.646843+08:00 0 [Warning] Plugin group_replication reported: 'read failed'
2018-03-15T07:45:17.662591+08:00 0 [ERROR] Plugin group_replication reported: '[GCS] The member was unable to join the group. Local port: 53306'
2018-03-15T07:46:13.601337+08:00 3 [ERROR] Plugin group_replication reported: 'Timeout on wait for view after joining group'
2018-03-15T07:46:13.601458+08:00 3 [Note] Plugin group_replication reported: 'Requesting to leave the group despite of not being a member'
2018-03-15T07:46:13.601507+08:00 3 [ERROR] Plugin group_replication reported: '[GCS] The member is leaving a group without being on one.

解决四：
关闭iptables和防火墙
/etc/init.d/iptables stop
chkconfig iptables off
文章标签：
云数据库 RDS MySQL 版
关系型数据库
JavaScript
MySQL
数据安全/隐私保护
关键词：
云数据库 RDS MySQL 版GROUP
云数据库 RDS MySQL 版replication
云数据库 RDS MySQL 版group replication
云数据库 RDS MySQL 版gr single
相关实践学习
如何在云端创建MySQL数据库
开始实验后，系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心，利用清洁计算为万物互联的新世界提供源源不断的能源动力，目前开服的区域包括中国（华北、华东、华南、香港）、新加坡、美国（美东、美西）、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程，来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品：云服务器ECS 云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
javenzhen
目录
相关文章
皮牙子抓饭
|
6月前
|
存储 SQL 关系型数据库
MySQL Group 字段逗号链接
【4月更文挑战第26天】
皮牙子抓饭
62 1
风水道人
|
6月前
|
SQL 存储 Oracle
mysql中Group By 分析
mysql中Group By 分析
风水道人
59 0
游客gy27fhrpaouum
|
6月前
|
SQL 关系型数据库 MySQL
MySQL GROUP BY 语句
MySQL GROUP BY 语句
游客gy27fhrpaouum
56 0
技术蜜糖罐
|
6月前
|
缓存 关系型数据库 MySQL
MySQL查询优化：提速查询效率的13大秘籍（合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作）（下）
MySQL查询优化：提速查询效率的13大秘籍（合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作）（下）
技术蜜糖罐
287 0
好奇的菜鸟
|
5月前
|
JSON 关系型数据库 MySQL
MySQL中GROUP_CONCAT与JSON_OBJECT、GROUP BY的巧妙结合：打造高效JSON数组汇总
MySQL中GROUP_CONCAT与JSON_OBJECT、GROUP BY的巧妙结合：打造高效JSON数组汇总
好奇的菜鸟
160 1
最后一支迷迭香
|
6月前
|
SQL 存储 关系型数据库
【mysql】将逗号分割的字段内容转换为多行并group by
【mysql】将逗号分割的字段内容转换为多行并group by
最后一支迷迭香
261 1
七镜
|
6月前
|
SQL 关系型数据库 MySQL
923.【mysql】 only full group by 模式
923.【mysql】 only full group by 模式
七镜
183 1
红目香薰
|
6月前
|
监控 负载均衡 关系型数据库
MySQL技能完整学习列表13、MySQL高级特性——1、分区表（Partitioning）——2、复制（Replication）——3、集群（Clustering）
MySQL技能完整学习列表13、MySQL高级特性——1、分区表（Partitioning）——2、复制（Replication）——3、集群（Clustering）
红目香薰
90 0
翎野君
|
6月前
|
关系型数据库 MySQL Java
MySQL group by分组后，将每组所得到的id拼接起来
MySQL group by分组后，将每组所得到的id拼接起来
翎野君
112 0
_揽
|
6月前
|
关系型数据库 MySQL 数据库
Mysql-错误处理： Found option without preceding group in config file
Mysql-错误处理： Found option without preceding group in config file
_揽
763 0

热门文章

最新文章

  • 1
    测试开启MySQL performance_schema后对性能的影响
  • 2
    RDS入门——Excel文件转存到RDS数据库实践
  • 3
    Linux操作系统上的mysql安装
  • 4
    mysql常用操作
  • 5
    MySQL数据库管理深度解析：创建新数据库的完全指南
  • 6
    C语言连接MySQL数据库
  • 7
    JDBC操作MySQL5日期类型字段的问题解决方法
  • 8
    Mariadb/Mysql TEMPORARY表
  • 9
    FAQ系列 | 启用SELinux后，PHP连接MySQL异常
  • 10
    mysql_5.6.21_安装使用说明
  • 1
    中间件MySQL性能瓶颈
    59
  • 2
    mysql: error while loading shared libraries: libncurses.so.5: cannot open shared object file
    316
  • 3
    MySQL上亿数据查询优化：实践与技巧
    305
  • 4
    如何理解Mysql的索引及他们的原理--------二叉查找树和平衡二叉树和B树和B+树
    52
  • 5
    MySQL：union all与union区别详解
    90
  • 6
    学习mysql中使用inner join，left join 等
    51
  • 7
    【最佳实践】MySQL数据库迁移到PXC集群
    98
  • 8
    MySQL PXC集群配置IPv6
    49
  • 9
    【实操记录】MySQL主从配置
    147
  • 10
    【实操记录】MySQL二进制安装包部署
    200

    • 相关课程

    更多
  • MySQL企业常见架构与调优经验分享
  • 云数据库MySQL版快速上手教程
  • 阿里云云原生数据仓库AnalyticDB MySQL版 使用教程
  • MySQL实战进阶
  • 数据库及SQL/MySQL基础
  • 云数据库MySQL快速入门

    • 相关电子书

    更多
  • One Box： 解读事务与分析一体化数据库 HybridDB for MySQL
  • One Box：解读事务与分析一体化数据库HybridDB for MySQL
  • 如何支撑HTAP场景-HybridDB for MySQL系统架构和技术演进

    • 相关实验场景

    更多
  • MySQL引擎及架构优化
  • 基于EBS部署高性能的MySQL服务
  • 5分钟上手Flink MySQL连接器
  • 云端MySQL的安装及应用
  • 手动部署MySQL数据库（Alibaba Cloud Linux 2）
  • 手动部署MySQL数据库（CentOS 7）

    • 推荐镜像

    更多
  • mysql
  • mariadb
  • postgresql
    • 下一篇
    无影云桌面