MySQL技能完整学习列表13、MySQL高级特性——1、分区表(Partitioning)——2、复制(Replication)——3、集群(Clustering)

简介: MySQL技能完整学习列表13、MySQL高级特性——1、分区表(Partitioning)——2、复制(Replication)——3、集群(Clustering)



 

1、分区表(Partitioning)

分区表是MySQL中一种将数据分散存储在多个物理子表中的技术,但从逻辑上看,它们仍然被当作一个表来对待。这种技术可以极大地提高大型数据库的性能、管理和可维护性。

为什么使用分区表

  1. 性能提升:通过将数据分散到多个物理部分,查询可以并行处理,从而提高性能。
  2. 管理方便:可以独立地备份、恢复或优化某一个分区,而不影响其他分区。
  3. 数据归档:对于具有时间序列数据的应用,可以使用分区表按日期归档数据。
  4. 均匀I/O分布:可以将不同的分区放在不同的物理设备上,从而平衡I/O负载。

分区类型

  1. RANGE分区:基于列的值范围来分区。
  2. LIST分区:基于列的离散值来分区。
  3. HASH分区:基于用户定义的表达式的哈希值来分区。
  4. KEY分区:类似于HASH分区,但MySQL服务器提供哈希函数。
  5. COLUMNS分区:可以使用多个列的值进行RANGE或LIST分区。

示例

1. RANGE分区示例

假设有一个销售记录表sales_records,其中有一个sale_date列记录了销售日期。我们可以按月进行RANGE分区:

CREATE TABLE sales_records (
    id INT NOT NULL,
    product_id INT NOT NULL,
    sale_date DATE NOT NULL,
    amount DECIMAL(10, 2) NOT NULL
)
PARTITION BY RANGE( YEAR(sale_date) * 12 + MONTH(sale_date) ) (
    PARTITION p0 VALUES LESS THAN (2023*12+1),
    PARTITION p1 VALUES LESS THAN (2024*12+1),
    PARTITION p2 VALUES LESS THAN (2025*12+1)
);
2. LIST分区示例

如果我们按照地区销售,可以使用LIST分区:

CREATE TABLE sales_records (
    id INT NOT NULL,
    region ENUM('North', 'South', 'East', 'West') NOT NULL,
    sale_date DATE NOT NULL,
    amount DECIMAL(10, 2) NOT NULL
)
PARTITION BY LIST(region) (
    PARTITION pNorth VALUES IN ('North'),
    PARTITION pSouth VALUES IN ('South'),
    PARTITION pEast VALUES IN ('East'),
    PARTITION pWest VALUES IN ('West')
);
3. HASH分区示例

假设我们想根据product_id的哈希值进行分区:

CREATE TABLE sales_records (
    id INT NOT NULL,
    product_id INT NOT NULL,
    sale_date DATE NOT NULL,
    amount DECIMAL(10, 2) NOT NULL
)
PARTITION BY HASH(product_id)
PARTITIONS 4;  -- 创建4个分区

以上仅为简单的示例,实际应用中可能需要考虑更复杂的场景和需求。在使用分区表之前,建议深入了解其工作原理和限制,以确保它适合你的应用场景。

2、复制(Replication)

MySQL的复制功能允许数据从一个MySQL数据库服务器(称为主服务器或Master)复制到一个或多个MySQL数据库服务器(称为从服务器或Slave)。这种复制是异步的,并且从服务器可以处理来自应用的读请求,从而分摊主服务器的读负载。

为什么使用复制

  1. 负载均衡:通过将读请求分发到多个从服务器,可以提高应用的整体吞吐量。
  2. 数据备份:可以使用从服务器作为数据备份,防止主服务器发生故障。
  3. 数据分析:可以在从服务器上执行复杂的数据分析查询,而不影响主服务器的性能。

复制类型

  1. 基于语句的复制(Statement-Based Replication, SBR):复制SQL语句到从服务器并执行。
  2. 基于行的复制(Row-Based Replication, RBR):复制实际更改的行数据到从服务器。
  3. 混合复制(Mixed-Based Replication):根据情况选择SBR或RBR。

如何设置复制

1. 配置主服务器

编辑my.cnfmy.ini配置文件:

[mysqld]
server-id=1                 # 服务器唯一ID
log-bin=mysql-bin           # 启用二进制日志
binlog-do-db=mydatabase     # 需要复制的数据库名

重启MySQL服务。

创建复制用户并授权:

GRANT REPLICATION SLAVE ON *.* TO 'repl_user'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;

查看主服务器状态:

SHOW MASTER STATUS;

记下FilePosition的值,稍后在从服务器上配置时会用到。

2. 配置从服务器

编辑my.cnfmy.ini配置文件:

[mysqld]
server-id=2                 # 服务器唯一ID,确保与主服务器不同
relay-log=mysql-relay-bin   # 中继日志文件名

重启MySQL服务。

在从服务器上配置主服务器信息:

CHANGE MASTER TO 
    MASTER_HOST='master_ip_address', 
    MASTER_USER='repl_user', 
    MASTER_PASSWORD='password', 
    MASTER_LOG_FILE='noted_file_from_master_status', 
    MASTER_LOG_POS=noted_position_from_master_status;

启动从服务器复制线程:

START SLAVE;

检查从服务器状态:

SHOW SLAVE STATUS\G;

确保Slave_IO_RunningSlave_SQL_Running的值都是“Yes”。如果是其他值,检查错误日志以解决问题。

注意事项与监控

  1. 数据一致性:使用复制时,必须确保主从服务器的数据保持一致。可以使用工具如pt-table-checksum来检查数据一致性。
  2. 网络延迟:如果主从服务器之间存在网络延迟,可能导致复制延迟。可以监控Seconds_Behind_Master指标来检查延迟情况。

3、集群(Clustering)

MySQL集群是一种数据库架构,旨在通过在多台服务器之间分布数据和查询负载来提高性能、可靠性和可扩展性。这种架构通常用于需要高可用性、容错和可扩展性的大型应用。

为什么使用集群

  1. 高可用性:通过冗余配置,可以在服务器故障时保持服务运行。
  2. 负载均衡:通过在多个节点之间分布查询,可以提高查询吞吐量。
  3. 可扩展性:可以方便地添加更多服务器来扩展性能。
  4. 容错性:通过数据复制,可以在硬件故障时防止数据丢失。

MySQL集群类型

  1. MySQL Replication Cluster:基于主从复制,用于读写分离和负载均衡。
  2. MySQL NDB Cluster:一个高性能分布式数据库系统,使用NDB存储引擎。
  3. MySQL Group Replication:一个基于多主复制的插件,提供同步复制和自动故障检测。
  4. InnoDB Cluster:一个集成的解决方案,结合了Group Replication、MySQL Router和MySQL Shell。

示例:设置InnoDB Cluster

1. 安装MySQL

在每个节点上安装MySQL。确保所有节点上的MySQL版本相同。

2. 配置MySQL服务器

编辑my.cnf文件,确保以下设置:

[mysqld]
server-id=1                 # 唯一服务器ID,每个节点不同
gtid_mode=ON               # 启用GTID模式
enforce_gtid_consistency=ON # 强制GTID一致性
log_bin=mysql-bin          # 启用二进制日志
3. 创建复制用户

在主节点上执行:

GRANT REPLICATION SLAVE ON *.* TO 'repl_user'@'%' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;
4. 配置InnoDB Cluster

使用MySQL Shell:

mysqlsh --uri root@localhost:3306

在MySQL Shell中执行:

var cluster = dba.createCluster('myCluster');
cluster.addInstance('root@node2:3306'); // 添加其他节点
cluster.status(); // 检查集群状态
5. 测试集群

在主节点上创建数据库和表,并插入一些数据。然后,从其他节点上查询数据,以确保复制正常工作。

注意事项与监控

  1. 网络稳定性:集群中的节点需要稳定的网络连接以确保数据一致性。
  2. 监控复制状态:定期检查复制状态以确保数据同步。可以使用SHOW STATUS命令或第三方监控工具。
  3. 负载均衡:使用负载均衡器(如MySQL Router)来分发查询到不同的节点,以提高性能。
  4. 扩展性计划:在设计集群时考虑未来的扩展需求,以确保可以平滑地添加新节点。
相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
10月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
944 6
|
11月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day01
本课程为MySQL基础学习第一天内容,涵盖MySQL概述、安装、SQL简介及其分类(DDL、DML、DQL、DCL)、数据库操作(查询、创建、使用、删除)及表操作(创建、约束、数据类型)。适合初学者入门学习数据库基本概念和操作方法。
322 6
|
11月前
|
关系型数据库 MySQL 数据管理
Mysql基础学习day03-作业
本内容包含数据库建表语句及多表查询示例,涵盖内连接、外连接、子查询及聚合统计,适用于员工与部门数据管理场景。
195 1
|
11月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day02-作业
本教程介绍了数据库表的创建与管理操作,包括创建员工表、插入测试数据、删除记录、更新数据以及多种查询操作,涵盖了SQL语句的基本使用方法,适合初学者学习数据库操作基础。
213 0
|
11月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day03
本课程为MySQL基础学习第三天内容,主要讲解多表关系与多表查询。内容涵盖物理外键与逻辑外键的区别、一对多、一对一及多对多关系的实现方式,以及内连接、外连接、子查询等多表查询方法,并通过具体案例演示SQL语句的编写与应用。
287 0
|
11月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day01-作业
本教程包含三个数据库表的创建练习:学生表(student)要求具备主键、自增长、非空、默认值及唯一约束;课程表(course)定义主键、非空唯一字段及数值精度限制;员工表(employee)包含自增主键、非空字段、默认值、唯一电话号及日期时间类型字段。每个表的结构设计均附有详细SQL代码示例。
192 0
|
11月前
|
SQL 关系型数据库 MySQL
Mysql基础学习day02
本课程为MySQL基础学习第二天内容,涵盖数据定义语言(DDL)的表查询、修改与删除操作,以及数据操作语言(DML)的增删改查功能。通过具体SQL语句与实例演示,帮助学习者掌握MySQL表结构操作及数据管理技巧。
252 0
|
11月前
|
缓存 关系型数据库 BI
使用MYSQL Report分析数据库性能(下)
使用MYSQL Report分析数据库性能
625 158
|
11月前
|
关系型数据库 MySQL 数据库
自建数据库如何迁移至RDS MySQL实例
数据库迁移是一项复杂且耗时的工程,需考虑数据安全、完整性及业务中断影响。使用阿里云数据传输服务DTS,可快速、平滑完成迁移任务,将应用停机时间降至分钟级。您还可通过全量备份自建数据库并恢复至RDS MySQL实例,实现间接迁移上云。
|
11月前
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1655 152

推荐镜像

更多