[MySQL 5.1 体验]MySQL 分区

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS AI 助手,专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介:

一、概述

相信有很多人经常会问同样的一个问题:当 MySQL
的总记录数超过了100万后,会出现性能的大幅度下降吗?答案是肯定的,但是性能下降>的比率不一而同,要看系统的架构、应用程序、还有>包括索引、服务器硬件等多种因素而定。当有网友问我这个问题的时候,我最常见的回答>就是:分表,可以根据id区间或者时间先后顺序等多
种规则来分表。分表很容易,然而由此所带来的应用程序甚至是架构方面的改动工作却不>容小觑,还包括将来的扩展性等。
在以前,一种解决方案就是使用 MERGE
类型,这是一个非常方便的做饭。架构和程序基本上不用做改动,不过,它的缺点是显见的:
  • 只能在相同结构的 MyISAM 表上使用
  • 无法享受到 MyISAM 的全部功能,例如无法在 MERGE 类型上执行 FULLTEXT 搜索
  • 它需要使用更多的文件描述符
  • 读取索引更慢
这个时候,MySQL 5.1 中新增的分区(Partition)功能的优势也就很明显了:
  • 与单个磁盘或文件系统分区相比,可以存储更多的数据
  • 很容易就能删除不用或者过时的数据
  • 一些查询可以得到极大的优化
  • 涉及到 SUM()/COUNT() 等聚合函数时,可以并行进行
  • IO吞吐量更大
分区允许可以设置为任意大小的规则,跨文件系统分配单个表的多个部分。实际上,表的不同部分在不同的位置被存储为单独的表。

二、分区的类型

  • RANGE 分区:基于属于一个给定连续区间的列值,把多行分配给分区。参见18.2.1节,RANGE分区
  • LIST 分区:类似于按RANGE分区,区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。参见18.2.2节,LIST分区
  • HASH分区:基于用户定义的表达式的返回值来进行选择的分区,该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包>含MySQL中有效的、产生非负整数值的任何表达式。参见18.2.3节,HASH分区
  • KEY
    分区:类似于按HASH分区,区别在于KEY分区只支持计算一列或多列,且MySQL服务器提供其自身的哈希函数。必须有一列或多列包含>整数值。
    参见18.2.4节,KEY分区

三、分区例子:

  • RANGE 类型
    CREATE TABLE users (
        uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(30) NOT NULL DEFAULT '',
        email VARCHAR(30) NOT NULL DEFAULT ''
    )
    PARTITION BY RANGE (uid) (
        PARTITION p0 VALUES LESS THAN (3000000)
        DATA DIRECTORY = '/data0/data'
        INDEX DIRECTORY = '/data1/idx',
        PARTITION p1 VALUES LESS THAN (6000000)
        DATA DIRECTORY = '/data2/data'
        INDEX DIRECTORY = '/data3/idx',
        PARTITION p2 VALUES LESS THAN (9000000)
        DATA DIRECTORY = '/data4/data'
        INDEX DIRECTORY = '/data5/idx',
        PARTITION p3 VALUES LESS THAN MAXVALUE    DATA DIRECTORY = '/data6/data' 
        INDEX DIRECTORY = '/data7/idx'
    );
    
    在这里,将用户表分成4个分区,以每300万条记录为界限,每个分区都有自己独立的数据、索引文件的存放目录,与此同时,这些目录所在的>
    物理磁盘分区可能也都是完全独立的,可以多大提高了磁盘IO吞吐量。
  • LIST 类型
    CREATE TABLE category (
        cid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(30) NOT NULL DEFAULT ''
    )
    PARTITION BY LIST (cid) (
        PARTITION p0 VALUES IN (0,4,8,12)
        DATA DIRECTORY = '/data0/data' 
        INDEX DIRECTORY = '/data1/idx',
        
        PARTITION p1 VALUES IN (1,5,9,13)
        DATA DIRECTORY = '/data2/data'
        INDEX DIRECTORY = '/data3/idx',
        
        PARTITION p2 VALUES IN (2,6,10,14)
        DATA DIRECTORY = '/data4/data'
        INDEX DIRECTORY = '/data5/idx',
        
        PARTITION p3 VALUES IN (3,7,11,15)
        DATA DIRECTORY = '/data6/data'
        INDEX DIRECTORY = '/data7/idx'
    );  
    
    分成4个区,数据文件和索引文件单独存放。
  • HASH 类型
    CREATE TABLE users (
        uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(30) NOT NULL DEFAULT '',
        email VARCHAR(30) NOT NULL DEFAULT ''
    )
    PARTITION BY HASH (uid) PARTITIONS 4 (
        PARTITION p0
        DATA DIRECTORY = '/data0/data'
        INDEX DIRECTORY = '/data1/idx',
        PARTITION p1
        DATA DIRECTORY = '/data2/data'
        INDEX DIRECTORY = '/data3/idx',
        PARTITION p2
        DATA DIRECTORY = '/data4/data'
        INDEX DIRECTORY = '/data5/idx',
        PARTITION p3
        DATA DIRECTORY = '/data6/data'
        INDEX DIRECTORY = '/data7/idx'
    );
    
    分成4个区,数据文件和索引文件单独存放。
  • KEY 类型
    REATE TABLE users (
        uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(30) NOT NULL DEFAULT '',
        email VARCHAR(30) NOT NULL DEFAULT ''
    )
    PARTITION BY KEY (uid) PARTITIONS 4 (
        PARTITION p0
        DATA DIRECTORY = '/data0/data'
        INDEX DIRECTORY = '/data1/idx',
        
        PARTITION p1
        DATA DIRECTORY = '/data2/data' 
        INDEX DIRECTORY = '/data3/idx',
        
        PARTITION p2 
        DATA DIRECTORY = '/data4/data'
        INDEX DIRECTORY = '/data5/idx',
        
        PARTITION p3 
        DATA DIRECTORY = '/data6/data'
        INDEX DIRECTORY = '/data7/idx'
    );  
    
    分成4个区,数据文件和索引文件单独存放。
  • 子分区
    子分区是针对 RANGE/LIST 类型的分区表中每个分区的再次分割。再次分割可以是 HASH/KEY 等类型。例如:
    CREATE TABLE users (
        uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(30) NOT NULL DEFAULT '',
        email VARCHAR(30) NOT NULL DEFAULT ''
    )
    PARTITION BY RANGE (uid) SUBPARTITION BY HASH (uid % 4) SUBPARTITIONS 2(
        PARTITION p0 VALUES LESS THAN (3000000)
        DATA DIRECTORY = '/data0/data'
        INDEX DIRECTORY = '/data1/idx',
        PARTITION p1 VALUES LESS THAN (6000000)
        DATA DIRECTORY = '/data2/data'
        INDEX DIRECTORY = '/data3/idx'
    );
    
    对 RANGE 分区再次进行子分区划分,子分区采用 HASH 类型。
    或者
    CREATE TABLE users (
        uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
        name VARCHAR(30) NOT NULL DEFAULT '',
        email VARCHAR(30) NOT NULL DEFAULT ''
    )
    PARTITION BY RANGE (uid) SUBPARTITION BY KEY(uid) SUBPARTITIONS 2(
        PARTITION p0 VALUES LESS THAN (3000000)
        DATA DIRECTORY = '/data0/data'
        INDEX DIRECTORY = '/data1/idx',
        PARTITION p1 VALUES LESS THAN (6000000)
        DATA DIRECTORY = '/data2/data'
        INDEX DIRECTORY = '/data3/idx'
    );
    
    对 RANGE 分区再次进行子分区划分,子分区采用 KEY 类型。

四、分区管理

  • 删除分区
    ALERT TABLE users DROP PARTITION p0;
    
    删除分区 p0。
  • 重建分区
    • RANGE 分区重建
      ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES LESS THAN (6000000));
      
      将原来的 p0,p1 分区合并起来,放到新的 p0 分区中。
    • LIST 分区重建
      ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES IN(0,1,4,5,8,9,12,13));
      
      将原来的 p0,p1 分区合并起来,放到新的 p0 分区中。
    • HASH/KEY 分区重建
      ALTER TABLE users REORGANIZE PARTITION COALESCE PARTITION 2;
      
      用 REORGANIZE 方式重建分区的数量变成2,在这里数量只能减少不能增加。想要增加可以用 ADD PARTITION 方法。
  • 新增分区
    • 新增 RANGE 分区
      ALTER TABLE category ADD PARTITION (PARTITION p4 VALUES IN (16,17,18,19)
      DATA DIRECTORY = '/data8/data'
      INDEX DIRECTORY = '/data9/idx');
      
      新增一个RANGE分区。
    • 新增 HASH/KEY 分区
      ALTER TABLE users ADD PARTITION PARTITIONS 8;
      
      将分区总数扩展到8个。

  • 本文转自叶金荣51CTO博客,原文链接:http://blog.51cto.com/imysql/308320,如需转载请自行联系原作者
相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
存储 关系型数据库 MySQL
【mysql】MySQL 分区快速入门
【mysql】MySQL 分区快速入门
280 0
|
5月前
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
674 6
|
8月前
|
关系型数据库 MySQL 索引
mysql中的索引和分区
在MySQL中,索引和分区是提高查询效率的关键技术。通过创建合适的索引,可以显著提升数据检索速度。而分区可以作为作为进一步提高查询效率的方式,在较大数据量时通常可以使用这两个结合的方式优化查询速度,所以这边将这两个进行整理,巩固个人知识,同时也希望帮助到有需要的朋友。
191 2
|
缓存 关系型数据库 MySQL
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
1068 0
|
SQL 监控 关系型数据库
MySQL如何查看每个分区的数据量
通过本文的介绍,您可以使用MySQL的 `INFORMATION_SCHEMA`查询每个分区的数据量。了解分区数据量对数据库优化和管理具有重要意义,可以帮助您优化查询性能、平衡数据负载和监控数据库健康状况。希望本文对您在MySQL分区管理和性能优化方面有所帮助。
1170 1
|
存储 关系型数据库 MySQL
MySQL 如何查看每个分区的数据量
MySQL 如何查看每个分区的数据量
962 3
|
关系型数据库 MySQL 大数据
MySQL分区与分表:优化性能与提升可扩展性
本文深入探讨了MySQL数据库中的分区与分表策略,通过详细的代码示例,解释了分区的概念与用途、不同的分区类型以及创建分区表的步骤。同时,文章还介绍了分表的概念、策略和实际操作方法,以代码演示展示了如何创建分表、插入数据以及查询数据。分区和分表作为优化数据库性能和提升可扩展性的关键手段,通过本文的阐述,读者将能够深入了解如何根据数据特点选择合适的分区方式,以及如何灵活地处理大量数据,提高查询和维护效率。这些技术将为数据库设计和优化提供有力支持,确保在大数据场景下能够高效地管理和查询数据。
2784 0
|
传感器 关系型数据库 MySQL
php语句:MySQL指定分区表跨分区根据时间条件快速查询记录的封装函数
php语句:MySQL指定分区表跨分区根据时间条件快速查询记录的封装函数
267 0
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之如何实现MySQL数据库的自动分区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
分布式计算 DataWorks 关系型数据库
DataWorks产品使用合集之当需要将数据从ODPS同步到RDS,且ODPS表是二级分区表时,如何同步所有二级分区的数据
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
324 7

推荐镜像

更多