mysql 水平分表的设计

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介:

一般来说,当我们的数据库的数据超过了100w记录的时候就应该考虑分表或者分区了,这次我来详细说说分表的一些方法。目前我所知道的方法都是MYISAM的,INNODB如何做分表并且保留事务和外键,我还不是很了解。 

首先,我们需要想好到底分多少个表,前提当然是满足应用。这里我使用了一个比较简单的分表方法,就是根据自增id的尾数来分,也就是说分0-9一共10个 表,其取值也很好做,就是对10进行取模。另外,还可以根据某一字段的md5值取其中几位进行分表,这样的话,可以分的表就很多了。

好了,先来创建表吧,代码如下http://hudeyong926.iteye.com/blog/1845997

Sql代码   收藏代码
  1. set @field_list ='  
  2. `id` BIGINT( 20 ) NOT NULL ,  
  3. `subject` VARCHAR( 200 ) NOT NULL ,  
  4. `content` TEXT NOT NULL ,  
  5. PRIMARY KEY ( `id` )  
  6. ';    
  7. call branch_table('article', @field_list, 9, 1);  
  8. CREATE TABLE `test`.`article_9` (  
  9. `id` BIGINT( 20 ) NOT NULL ,  
  10. `subject` VARCHAR( 200 ) NOT NULL ,  
  11. `content` TEXT NOT NULL ,  
  12. PRIMARY KEY ( `id` )  
  13. ) ENGINE = MYISAM CHARACTER SET utf8 COLLATE utf8_general_ci   

 好了10个表创建完毕了,需要注意的是,这里的id不能设为自增,而且所有的表结构必须一致,包括结构,类型,长度,字段的顺序都必须一致 那么对于这个id如何取得呢?后面我会详细说明。现在,我们需要一个合并表,用于查询,创建合并表的代码如下

Sql代码   收藏代码
  1. CREATE TABLE `test`.`article` (  
  2. `id` BIGINT( 20 ) NOT NULL ,  
  3. `subject` VARCHAR( 200 ) NOT NULL ,  
  4. `content` TEXT NOT NULL ,  
  5. PRIMARY KEY ( `id` )  
  6. ) ENGINE=MRG_MyISAM DEFAULT CHARSET=utf8 INSERT_METHOD=0 UNION=(`article_0`,`article_1`,`article_2`,`article_3`,`article_4`,`article_5`,`article_6`,`article_7`,`article_8`,`article_9`);   

 这里INSERT_METHOD=0在某些版本可能不工作,需要改成INSERT_METHOD=NO 
注意,合并表也必须和前面的表有相同的结构,类型,长度,包括字段的顺序都必须一致 这里的INSERT_METHOD=0表示不允许对本表进行insert操作。好了,当需要查询的时候,我们可以只对article这个表进行操作就可以了,也就是说这个表仅仅只能进行select操作。合并表也可以不用创建通过10个表的union all 的存储过程代替http://hudeyong926.iteye.com/blog/1846357

那么对于插入也就是insert操作应该如何来搞呢,首先就是获取唯一的id了,这里就还需要一个表来专门创建id,代码如下

Java代码   收藏代码
  1. CREATE TABLE `test`.`create_id` (  
  2. `id` BIGINT( 20 ) NOT NULL AUTO_INCREMENT PRIMARY KEY  
  3. ) ENGINE = MYISAM   

 也就是说,当我们需要插入数据的时候,必须由这个表来产生id值,我的php代码的方法如下

Java代码   收藏代码
  1. function get_AI_ID() {  
  2.     $sql  = "insert into create_id (id) values('')";  
  3.     $this->db->query($sql);  
  4.     return $this->db->insertID();  
  5. }   

 好了,现在假设我们要插入一条数据了,应该怎么操作呢?还是继续看代码吧

Java代码   收藏代码
  1. function new_Article() {  
  2.     $id  = $this->get_AI_ID();  
  3.     $table_name = $this->get_Table_Name($id);  
  4.     $sql = "insert into {$table_name} (id,subject,content) values('{$id}','测试标题','测试内容')";  
  5.     $this->db->query($sql);  
  6. }  
  7. /** 
  8.  * 用于根据id获取表名 
  9.  */  
  10. function get_Table_Name($id) {  
  11.     return 'article_'.intval($id)%10;  
  12. }   

 其实很简单的,对吧,就是先获取id,然后根据id获取应该插入到哪个表,然后就很简单了。

对于update的操作我想应该不需要再说了吧,无非是有了id,然后获取表名,然后进行update操作就好了。

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
11月前
|
关系型数据库 MySQL 中间件
|
8月前
|
存储 SQL 关系型数据库
(二十三)MySQL分表篇:该如何将月增上亿条数据的单表处理方案优雅落地?
前面《分库分表的正确姿势》、《分库分表的后患问题》两篇中,对数据库的分库分表技术进行了全面阐述,但前两篇大多属于方法论,并不存在具体的实战实操,而只有理论没有实践的技术永远都属纸上谈兵,所以接下来会再开几个单章对分库分表各类方案进行落地。
708 3
|
9月前
|
算法 搜索推荐 NoSQL
面试题MySQL问题之分库分表后的富查询问题处理如何解决
面试题MySQL问题之分库分表后的富查询问题处理如何解决
82 3
|
9月前
|
消息中间件 关系型数据库 MySQL
实时计算 Flink版产品使用问题之从MySQL数据库中捕获变更数据并进行实时处理如何按天分表同步CDC数据
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
9月前
|
SQL 关系型数据库 MySQL
mysql面试之分库分表总结
mysql面试之分库分表总结
116 0
|
10月前
|
关系型数据库 MySQL 数据库
深入探讨MySQL分表策略与实践
深入探讨MySQL分表策略与实践
594 0
|
11月前
|
存储 关系型数据库 MySQL
Mysql 分库分区分表
Mysql 分库分区分表
|
关系型数据库 MySQL Java
Mysql集群部署实现主从复制读写分离分表分库 2
Mysql集群部署实现主从复制读写分离分表分库
103 0
|
存储 关系型数据库 MySQL
Mysql集群部署实现主从复制读写分离分表分库 1
Mysql集群部署实现主从复制读写分离分表分库
167 0
|
存储 关系型数据库 MySQL
Mysql分表分库背景知识(2)
Mysql分表分库背景知识(2)
103 0
下一篇
oss创建bucket