几千万记录,数据库表结构如何平滑变更?

简介: 问题域:数据量大、并发量高场景,如何在流量低峰期,平滑实施表结构变更?

image.png

问题域:数据量大、并发量高场景,如何在流量低峰期,平滑实施表结构变更?

画外音,一般来说,是指增加表的属性,因为:
(1)如果是减column,升级程序不使用即可;
(2)如果是修改column,程序兼容性容易出问题;

首先,一起看下有哪些常见方案。

方案一:在线修改表结构。
画外音:alter table add column
数据量大的情况下,锁表时间会较长,造成拒绝服务,一般不可行。   方案二:通过增加表的方式扩展属性,通过外键join来查询。 举个例子,对:
t_user(uid, c1, c2, c3)
想要扩展属性,可以通过增加一个表实现:
t_user_ex(uid, c4, c5, c6)

数据量大的情况下,join性能较差,一般不可行。   方案三,通过增加表的方式扩展,通过视图来屏蔽底层复杂性。 同上,视图效率较低,一般不使用视图。


方案四,揍产品经理,阻止她修改需求。 ...
 

方案五,提前预留一些reserved字段,加列可复用这些字段。

这个方案可行, 但如果预留过多,会造成空间浪费。
方案六,pt-online-schema-change
对于MySQL而言,这是目前比较成熟的方案,被广大公司所使用。
画外音:我呆过的互联网公司,数据库均使用MySQL。


下面仍以用户表扩展为例,说下这个工具内部的原理与步骤。


假设:

user(uid, name, passwd)

要扩展到:
user(uid, name, passwd, age, sex)


第一步,先创建一个扩充字段后的新表:

user_new(uid, name, passwd, age, sex)

画外音:就是被扩展后的表。


第二步,在原表user上创建三个触发器,对原表user进行的所有
insert/delete/update 操作,都会对新表user_new进行相同的操作;

第三步 ,分批将原表user中的数据insert到新表user_new,直至数据迁移完成;

第四步,删掉触发器,把原表移走(默认是drop掉);

第五步,把新表user_new重命名(rename)成原表user;

扩充字段完成,整个过程不需要锁表,可以持续对外提供服务。
  操作过程中需要注意: (1)变更过程中,最重要的是冲突的处理,一条原则, 以触发器的新数据为准 ,这就要求被迁移的表必须有主键(这个要求基本都满足); (2)变更过程中,写操作需要建立触发器,所以如果原表已经有很多触发器,方案就不行(互联网大数据高并发的在线业务,一般都禁止使用触发器);
(3)触发器的建立,会影响原表的性能,所以这个操作必须
在流量低峰期进行   pt-online-schema-change 是DBA必备的利器,比较成熟,在互联网公司使用广泛,要了解更详细的细节,亦可以Google一下。

任何脱离业务的架构设计都是耍流氓。

本文转自“架构师之路”公众号,58沈剑提供。

目录
相关文章
|
1月前
|
存储 数据库
工作流Flowable 数据库表结构说明、Flowable 数据字典说明
工作流Flowable 数据库表结构说明、Flowable 数据字典说明
76 0
|
1月前
|
存储 关系型数据库 数据库
什么是数据库表结构
什么是数据库表结构
|
2月前
|
监控 Oracle 关系型数据库
Flink CDC(Change Data Capture)是一种用于捕获数据库变更的技术
Flink CDC(Change Data Capture)是一种用于捕获数据库变更的技术
36 8
|
5月前
|
NoSQL 前端开发 Java
基于springboot的学生成绩在线管理系统(部署文档+数据库表结构文档)。Javaee项目,springboot项目.
基于springboot的学生成绩在线管理系统(部署文档+数据库表结构文档)。Javaee项目,springboot项目.
|
5月前
|
NoSQL Java 关系型数据库
基于SSM的图书管理系统(部署文档+数据库表结构文档)。Javaee项目。
基于SSM的图书管理系统(部署文档+数据库表结构文档)。Javaee项目。
|
5月前
|
NoSQL Java 关系型数据库
基于springboot的人力资源管理系统(部署文档+数据库表结构文档)。Javaee项目,springboot项目。
基于springboot的人力资源管理系统(部署文档+数据库表结构文档)。Javaee项目,springboot项目。
|
2月前
|
存储 关系型数据库 MySQL
MySQL技能完整学习列表5、数据库操作——1、创建数据库和表——2、修改表结构(ALTER TABLE)
MySQL技能完整学习列表5、数据库操作——1、创建数据库和表——2、修改表结构(ALTER TABLE)
183 0
|
3天前
|
存储 SQL 数据库
数据库库表结构设计:原理、实例与最佳实践
数据库库表结构设计:原理、实例与最佳实践
18 0
|
1月前
|
Oracle 关系型数据库 MySQL
一款好用的数据库表结构文档生成工具
一款好用的数据库表结构文档生成工具
|
4月前
|
数据库 流计算
Flink CDC的工作原理是通过监听数据库的变更事件
Flink CDC的工作原理是通过监听数据库的变更事件
56 1

热门文章

最新文章