MySQL技能完整学习列表13、MySQL高级特性——1、分区表(Partitioning)——2、复制(Replication)——3、集群(Clustering)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
日志服务 SLS,月写入数据量 50GB 1个月
云数据库 RDS MySQL,高可用系列 2核4GB
简介: MySQL技能完整学习列表13、MySQL高级特性——1、分区表(Partitioning)——2、复制(Replication)——3、集群(Clustering)



 

1、分区表(Partitioning)

分区表是MySQL中一种将数据分散存储在多个物理子表中的技术,但从逻辑上看,它们仍然被当作一个表来对待。这种技术可以极大地提高大型数据库的性能、管理和可维护性。

为什么使用分区表

  1. 性能提升:通过将数据分散到多个物理部分,查询可以并行处理,从而提高性能。
  2. 管理方便:可以独立地备份、恢复或优化某一个分区,而不影响其他分区。
  3. 数据归档:对于具有时间序列数据的应用,可以使用分区表按日期归档数据。
  4. 均匀I/O分布:可以将不同的分区放在不同的物理设备上,从而平衡I/O负载。

分区类型

  1. RANGE分区:基于列的值范围来分区。
  2. LIST分区:基于列的离散值来分区。
  3. HASH分区:基于用户定义的表达式的哈希值来分区。
  4. KEY分区:类似于HASH分区,但MySQL服务器提供哈希函数。
  5. COLUMNS分区:可以使用多个列的值进行RANGE或LIST分区。

示例

1. RANGE分区示例

假设有一个销售记录表sales_records,其中有一个sale_date列记录了销售日期。我们可以按月进行RANGE分区:

CREATE TABLE sales_records (
    id INT NOT NULL,
    product_id INT NOT NULL,
    sale_date DATE NOT NULL,
    amount DECIMAL(10, 2) NOT NULL
)
PARTITION BY RANGE( YEAR(sale_date) * 12 + MONTH(sale_date) ) (
    PARTITION p0 VALUES LESS THAN (2023*12+1),
    PARTITION p1 VALUES LESS THAN (2024*12+1),
    PARTITION p2 VALUES LESS THAN (2025*12+1)
);
2. LIST分区示例

如果我们按照地区销售,可以使用LIST分区:

CREATE TABLE sales_records (
    id INT NOT NULL,
    region ENUM('North', 'South', 'East', 'West') NOT NULL,
    sale_date DATE NOT NULL,
    amount DECIMAL(10, 2) NOT NULL
)
PARTITION BY LIST(region) (
    PARTITION pNorth VALUES IN ('North'),
    PARTITION pSouth VALUES IN ('South'),
    PARTITION pEast VALUES IN ('East'),
    PARTITION pWest VALUES IN ('West')
);
3. HASH分区示例

假设我们想根据product_id的哈希值进行分区:

CREATE TABLE sales_records (
    id INT NOT NULL,
    product_id INT NOT NULL,
    sale_date DATE NOT NULL,
    amount DECIMAL(10, 2) NOT NULL
)
PARTITION BY HASH(product_id)
PARTITIONS 4;  -- 创建4个分区

以上仅为简单的示例,实际应用中可能需要考虑更复杂的场景和需求。在使用分区表之前,建议深入了解其工作原理和限制,以确保它适合你的应用场景。

2、复制(Replication)

MySQL的复制功能允许数据从一个MySQL数据库服务器(称为主服务器或Master)复制到一个或多个MySQL数据库服务器(称为从服务器或Slave)。这种复制是异步的,并且从服务器可以处理来自应用的读请求,从而分摊主服务器的读负载。

为什么使用复制

  1. 负载均衡:通过将读请求分发到多个从服务器,可以提高应用的整体吞吐量。
  2. 数据备份:可以使用从服务器作为数据备份,防止主服务器发生故障。
  3. 数据分析:可以在从服务器上执行复杂的数据分析查询,而不影响主服务器的性能。

复制类型

  1. 基于语句的复制(Statement-Based Replication, SBR):复制SQL语句到从服务器并执行。
  2. 基于行的复制(Row-Based Replication, RBR):复制实际更改的行数据到从服务器。
  3. 混合复制(Mixed-Based Replication):根据情况选择SBR或RBR。

如何设置复制

1. 配置主服务器

编辑my.cnfmy.ini配置文件:

[mysqld]
server-id=1                 # 服务器唯一ID
log-bin=mysql-bin           # 启用二进制日志
binlog-do-db=mydatabase     # 需要复制的数据库名

重启MySQL服务。

创建复制用户并授权:

GRANT REPLICATION SLAVE ON *.* TO 'repl_user'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;

查看主服务器状态:

SHOW MASTER STATUS;

记下FilePosition的值,稍后在从服务器上配置时会用到。

2. 配置从服务器

编辑my.cnfmy.ini配置文件:

[mysqld]
server-id=2                 # 服务器唯一ID,确保与主服务器不同
relay-log=mysql-relay-bin   # 中继日志文件名

重启MySQL服务。

在从服务器上配置主服务器信息:

CHANGE MASTER TO 
    MASTER_HOST='master_ip_address', 
    MASTER_USER='repl_user', 
    MASTER_PASSWORD='password', 
    MASTER_LOG_FILE='noted_file_from_master_status', 
    MASTER_LOG_POS=noted_position_from_master_status;

启动从服务器复制线程:

START SLAVE;

检查从服务器状态:

SHOW SLAVE STATUS\G;

确保Slave_IO_RunningSlave_SQL_Running的值都是“Yes”。如果是其他值,检查错误日志以解决问题。

注意事项与监控

  1. 数据一致性:使用复制时,必须确保主从服务器的数据保持一致。可以使用工具如pt-table-checksum来检查数据一致性。
  2. 网络延迟:如果主从服务器之间存在网络延迟,可能导致复制延迟。可以监控Seconds_Behind_Master指标来检查延迟情况。

3、集群(Clustering)

MySQL集群是一种数据库架构,旨在通过在多台服务器之间分布数据和查询负载来提高性能、可靠性和可扩展性。这种架构通常用于需要高可用性、容错和可扩展性的大型应用。

为什么使用集群

  1. 高可用性:通过冗余配置,可以在服务器故障时保持服务运行。
  2. 负载均衡:通过在多个节点之间分布查询,可以提高查询吞吐量。
  3. 可扩展性:可以方便地添加更多服务器来扩展性能。
  4. 容错性:通过数据复制,可以在硬件故障时防止数据丢失。

MySQL集群类型

  1. MySQL Replication Cluster:基于主从复制,用于读写分离和负载均衡。
  2. MySQL NDB Cluster:一个高性能分布式数据库系统,使用NDB存储引擎。
  3. MySQL Group Replication:一个基于多主复制的插件,提供同步复制和自动故障检测。
  4. InnoDB Cluster:一个集成的解决方案,结合了Group Replication、MySQL Router和MySQL Shell。

示例:设置InnoDB Cluster

1. 安装MySQL

在每个节点上安装MySQL。确保所有节点上的MySQL版本相同。

2. 配置MySQL服务器

编辑my.cnf文件,确保以下设置:

[mysqld]
server-id=1                 # 唯一服务器ID,每个节点不同
gtid_mode=ON               # 启用GTID模式
enforce_gtid_consistency=ON # 强制GTID一致性
log_bin=mysql-bin          # 启用二进制日志
3. 创建复制用户

在主节点上执行:

GRANT REPLICATION SLAVE ON *.* TO 'repl_user'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;
4. 配置InnoDB Cluster

使用MySQL Shell:

mysqlsh --uri root@localhost:3306

在MySQL Shell中执行:

var cluster = dba.createCluster('myCluster');
cluster.addInstance('root@node2:3306'); // 添加其他节点
cluster.status(); // 检查集群状态
5. 测试集群

在主节点上创建数据库和表,并插入一些数据。然后,从其他节点上查询数据,以确保复制正常工作。

注意事项与监控

  1. 网络稳定性:集群中的节点需要稳定的网络连接以确保数据一致性。
  2. 监控复制状态:定期检查复制状态以确保数据同步。可以使用SHOW STATUS命令或第三方监控工具。
  3. 负载均衡:使用负载均衡器(如MySQL Router)来分发查询到不同的节点,以提高性能。
  4. 扩展性计划:在设计集群时考虑未来的扩展需求,以确保可以平滑地添加新节点。
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
2月前
|
SQL 监控 关系型数据库
MySQL事务处理:ACID特性与实战应用
本文深入解析了MySQL事务处理机制及ACID特性,通过银行转账、批量操作等实际案例展示了事务的应用技巧,并提供了性能优化方案。内容涵盖事务操作、一致性保障、并发控制、持久性机制、分布式事务及最佳实践,助力开发者构建高可靠数据库系统。
|
6月前
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
1月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
332 5
|
2月前
|
存储 关系型数据库 MySQL
介绍MySQL的InnoDB引擎特性
总结而言 , Inno DB 引搞 是 MySQL 中 高 性 能 , 高 可靠 的 存 储选项 , 宽泛 应用于要求强 复杂交易处理场景 。
112 15
|
2月前
|
关系型数据库 MySQL 数据管理
Mysql基础学习day03-作业
本内容包含数据库建表语句及多表查询示例,涵盖内连接、外连接、子查询及聚合统计,适用于员工与部门数据管理场景。
70 1
|
2月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day01
本课程为MySQL基础学习第一天内容,涵盖MySQL概述、安装、SQL简介及其分类(DDL、DML、DQL、DCL)、数据库操作(查询、创建、使用、删除)及表操作(创建、约束、数据类型)。适合初学者入门学习数据库基本概念和操作方法。
174 6
|
2月前
|
关系型数据库 MySQL 数据库
MySql事务以及事务的四大特性
事务是数据库操作的基本单元,具有ACID四大特性:原子性、一致性、隔离性、持久性。它确保数据的正确性与完整性。并发事务可能引发脏读、不可重复读、幻读等问题,数据库通过不同隔离级别(如读未提交、读已提交、可重复读、串行化)加以解决。MySQL默认使用可重复读级别。高隔离级别虽能更好处理并发问题,但会降低性能。
126 0
|
2月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day02-作业
本教程介绍了数据库表的创建与管理操作,包括创建员工表、插入测试数据、删除记录、更新数据以及多种查询操作,涵盖了SQL语句的基本使用方法,适合初学者学习数据库操作基础。
84 0
|
2月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day03
本课程为MySQL基础学习第三天内容,主要讲解多表关系与多表查询。内容涵盖物理外键与逻辑外键的区别、一对多、一对一及多对多关系的实现方式,以及内连接、外连接、子查询等多表查询方法,并通过具体案例演示SQL语句的编写与应用。
82 0
|
2月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day01-作业
本教程包含三个数据库表的创建练习:学生表(student)要求具备主键、自增长、非空、默认值及唯一约束;课程表(course)定义主键、非空唯一字段及数值精度限制;员工表(employee)包含自增主键、非空字段、默认值、唯一电话号及日期时间类型字段。每个表的结构设计均附有详细SQL代码示例。
78 0

推荐镜像

更多
下一篇
oss云网关配置