RDS for MySQL 通过分区自动归档历史数据

简介: RDS for MySQL 通过分区归档历史数据 原始表 分区 用于分区维护的存储过程 每月调用存储过程的事件 随着数据的积累,数据量的增加,越来越多的表体积变的庞大,不但影响查询的执行时间,而且使得管理工作(比如添加删除索引)变的越发复杂和困难。本文介绍一个通过分区滑动来归档历史

RDS for MySQL 通过分区归档历史数据



随着数据的积累,数据量的增加,越来越多的表体积变的庞大,不但影响查询的执行时间,而且使得管理工作(比如添加删除索引)变的越发复杂和困难。

本文介绍一个通过分区滑动来归档历史数据(以便可以有效控制表的尺寸)的方法,仅供大家参考。


1. 原始表

未分区的原始表:order_history。

create table order_history
( 
	id              bigint unsigned auto_increment primary key,
	order_id        bigint unsigned not null,
	customer_id     bigint unsigned not null,
	goods_id        bigint unsigned not null,
	payment_id      bigint unsigned not null,
	details         text,
	comments        text,
	order_date      datetime not null,
	status          tinyint
);

 

2. 分区

MySQL 分区要求分区字段必须是主键或者唯一键的一部分,因此需要修改主键定义。

alter table order_history algorithm=inplace, lock=none, drop primary key, add primary key (id, order_date);

-- algorithm=inplace, lock=none 是 RDS for MySQL 5.6 支持的 online DDL 特性。
-- 如果要修改主键,删除主键和添加主键建议放在一条语句中,以便充分利用 5.6 版本的 Online DDL 特性。

alter table order_history partition by range columns (order_date) (
	partition p1606 values less than ('2016-07-01'),
	partition p1607 values less than ('2016-08-01'),
	partition p1608 values less than ('2016-09-01'),
	partition p1609 values less than ('2016-10-01'),
	partition p1610 values less than ('2016-11-01'),
	partition p1611 values less than ('2016-12-01'),
	partition p1612 values less than ('2017-01-01'),
	partition p0 values less than maxvalue
);

-- 将数据按月份分区

 3. 用于分区维护的存储过程

删除最久的一个月份分区,新建下个月份分区,总体保留最近 6 个月份的数据。

delimiter //
drop procedure sp_order_his_rotate//
create procedure sp_order_his_rotate ()
begin
       declare todrop_par varchar(10) default null;
       declare toadd_par varchar(10) default null;
       declare toadd_day varchar(10) default null;
       declare last_par varchar(10) default null;
       declare new_par varchar(10) default null;
       declare v_sql varchar(200) default null;
	   
       select date_format(date_sub(curdate(), interval 6 month), 'p%y%m') into todrop_par;
       select date_format(date_add(curdate(), interval 1 month), 'p%y%m') into toadd_par;
       select date_format(date_add(curdate()-day(curdate())+1,interval 2 month), '%Y-%m-%d') into toadd_day;
       select partition_name into last_par from information_schema.partitions 
	 where table_name = 'order_history' 
	 and table_schema = 'db_name' 
	 and partition_description != 'maxvalue' 
	 order by partition_description asc limit 1;
       if todrop_par = last_par then
       select concat('alter table order_history drop partition ',todrop_par,';') into v_sql;
	 set @v_sql=v_sql;
	 prepare stmt from @v_sql;
	 execute stmt;
	 deallocate prepare stmt;
       end if;
       select partition_name into new_par from information_schema.partitions 
         where table_name = 'order_history' 
         and table_schema = 'db_name' 
         and partition_description != 'maxvalue' 
	 order by partition_description desc limit 1;	
       if toadd_par != new_par then
       select concat('alter table order_history reorganize partition p0 into (partition ', toadd_par, ' values less than (''', toadd_day,'''), partition p0 values less than (maxvalue));') into v_sql;
	 set @v_sql=v_sql;
	 prepare stmt from @v_sql;
	 execute stmt;
	 deallocate prepare stmt;
       end if;
end;
//
delimiter ;

 

4. 每月调用存储过程的事件

每月月末 28 日调用分区管理存储过程,来自动维护分区。

drop event if exists order_his_rotate;
delimiter //
create event order_his_rotate
  on schedule every 1 month starts '2016-12-28 02:00:00'
  on completion preserve enable do
begin
  call sp_order_his_rotate();
end;
//
delimiter ;

 

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
目录
相关文章
|
负载均衡 算法 关系型数据库
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
本文聚焦 MySQL 集群架构中的负载均衡算法,阐述其重要性。详细介绍轮询、加权轮询、最少连接、加权最少连接、随机、源地址哈希等常用算法,分析各自优缺点及适用场景。并提供 Java 语言代码实现示例,助力直观理解。文章结构清晰,语言通俗易懂,对理解和应用负载均衡算法具有实用价值和参考价值。
大数据大厂之MySQL数据库课程设计:揭秘MySQL集群架构负载均衡核心算法:从理论到Java代码实战,让你的数据库性能飙升!
|
关系型数据库 MySQL 数据库
阿里云数据库RDS费用价格:MySQL、SQL Server、PostgreSQL和MariaDB引擎收费标准
阿里云RDS数据库支持MySQL、SQL Server、PostgreSQL、MariaDB,多种引擎优惠上线!MySQL倚天版88元/年,SQL Server 2核4G仅299元/年,PostgreSQL 227元/年起。高可用、可弹性伸缩,安全稳定。详情见官网活动页。
1878 152
|
关系型数据库 MySQL 数据库
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎
阿里云数据库RDS支持MySQL、SQL Server、PostgreSQL和MariaDB引擎,提供高性价比、稳定安全的云数据库服务,适用于多种行业与业务场景。
1292 156
|
NoSQL 算法 Redis
【Docker】(3)学习Docker中 镜像与容器数据卷、映射关系!手把手带你安装 MySql主从同步 和 Redis三主三从集群!并且进行主从切换与扩容操作,还有分析 哈希分区 等知识点!
Union文件系统(UnionFS)是一种**分层、轻量级并且高性能的文件系统**,它支持对文件系统的修改作为一次提交来一层层的叠加,同时可以将不同目录挂载到同一个虚拟文件系统下(unite several directories into a single virtual filesystem) Union 文件系统是 Docker 镜像的基础。 镜像可以通过分层来进行继承,基于基础镜像(没有父镜像),可以制作各种具体的应用镜像。
1093 6
|
关系型数据库 分布式数据库 数据库
阿里云数据库收费价格:MySQL、PostgreSQL、SQL Server和MariaDB引擎费用整理
阿里云数据库提供多种类型,包括关系型与NoSQL,主流如PolarDB、RDS MySQL/PostgreSQL、Redis等。价格低至21元/月起,支持按需付费与优惠套餐,适用于各类应用场景。
|
SQL 关系型数据库 MySQL
Mysql数据恢复—Mysql数据库delete删除后数据恢复案例
本地服务器,操作系统为windows server。服务器上部署mysql单实例,innodb引擎,独立表空间。未进行数据库备份,未开启binlog。 人为误操作使用Delete命令删除数据时未添加where子句,导致全表数据被删除。删除后未对该表进行任何操作。需要恢复误删除的数据。 在本案例中的mysql数据库未进行备份,也未开启binlog日志,无法直接还原数据库。
1016 2
|
关系型数据库 MySQL 索引
mysql中的索引和分区
在MySQL中,索引和分区是提高查询效率的关键技术。通过创建合适的索引,可以显著提升数据检索速度。而分区可以作为作为进一步提高查询效率的方式,在较大数据量时通常可以使用这两个结合的方式优化查询速度,所以这边将这两个进行整理,巩固个人知识,同时也希望帮助到有需要的朋友。
359 2
|
消息中间件 关系型数据库 Kafka
一种小资源情况下RDS数据实时同步StarRocks方案
使用一台4C8 G服务器轻松实现2个MySQL实例中通过负责分库分表规则之后的5000多张表的数据实时同步到StarRocks
874 67
|
负载均衡 算法 关系型数据库
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL集群架构负载均衡故障排除与解决方案
本文深入探讨 MySQL 集群架构负载均衡的常见故障及排除方法。涵盖请求分配不均、节点无法响应、负载均衡器故障等现象,介绍多种负载均衡算法及故障排除步骤,包括检查负载均衡器状态、调整算法、诊断修复节点故障等。还阐述了预防措施与确保系统稳定性的方法,如定期监控维护、备份恢复策略、团队协作与知识管理等。为确保 MySQL 数据库系统高可用性提供全面指导。
|
SQL 关系型数据库 MySQL
大数据新视界--大数据大厂之MySQL数据库课程设计:MySQL 数据库 SQL 语句调优方法详解(2-1)
本文深入介绍 MySQL 数据库 SQL 语句调优方法。涵盖分析查询执行计划,如使用 EXPLAIN 命令及理解关键指标;优化查询语句结构,包括避免子查询、减少函数使用、合理用索引列及避免 “OR”。还介绍了索引类型知识,如 B 树索引、哈希索引等。结合与 MySQL 数据库课程设计相关文章,强调 SQL 语句调优重要性。为提升数据库性能提供实用方法,适合数据库管理员和开发人员。

推荐镜像

更多