小猿日记(11) - 单表亿级数据分表实战

简介: 单表亿级数据分表实战

声明

本文故事纯属遐想,如有雷同,我是原创。

欢迎转载。
转载请务必注明以下信息。
原作者:谙忆
原文链接: https://chenhx.blog.csdn.net/article/details/106446270

公众号

阅代码原理,看框架知识,学企业实践;
赏诗词,读日记,踏人生之路,观世界之行;
欢迎扫码关注公众号:程序编程之旅
程序编程之旅

概述

5000万单表数据,没有自增ID,要切分到128个表中。

如何选择切分字段,如何优化迁移速度,如何估计分表还是分库分表,如何确定分表数量?

口水记

最近将单表进行了拆分。

虽然是saas平台的权限系统,但是由于前期设计问题,开始在某些表中是没有租户标识的

所以这次给表加上了租户的标识。

改造数据库表结构,最大的难点不是知道如何改。而是变更落地。不遗漏。

经过两次的排查,将所有接口,所有依赖应用全部找出来,全部进行修改。

虽说没有测试人员,但是也顺利上线,没有bug。

然后就是分表问题,这里不选择分库,原因就是,我们的产品面向的是B端,数据库压力并不大,看了现在数据库的一些指标,单个库完全能够支持。

分表数量如何取,这里面要根据实际的一个情况来。

更多内容可以关注公众号或者阅读原文:
https://chenhx.blog.csdn.net/article/details/106446270

目录
相关文章
|
5天前
|
关系型数据库 分布式数据库 数据库
PolarDB闪电助攻,《香肠派对》百亿好友关系实现毫秒级查询
PolarDB分布式版助力《香肠派对》实现百亿好友关系20万QPS的毫秒级查询。
PolarDB闪电助攻,《香肠派对》百亿好友关系实现毫秒级查询
|
5月前
|
存储 监控 关系型数据库
传统库分表麻烦查询慢?TDengine 如何解决“搜狐基金”的应用难题
搜狐基金团队使用的 MySQL 数据库在面对海量数据时存在能力瓶颈,在此背景下,其决定基于 TDengine 尝试一下全新的方案。
104 0
|
6月前
|
SQL 关系型数据库 MySQL
106分布式电商项目 - MySQL优化(查询优化)
106分布式电商项目 - MySQL优化(查询优化)
47 0
|
6月前
|
存储 关系型数据库 MySQL
108分布式电商项目 - MySQL优化(插入数据优化)
108分布式电商项目 - MySQL优化(插入数据优化)
31 0
|
8月前
|
SQL 存储 分布式数据库
如何同时兼顾多维分析和快速查询的需求?Kudu来帮忙!彭文华
如何同时兼顾多维分析和快速查询的需求?Kudu来帮忙!彭文华
|
11月前
|
存储 JavaScript Java
亿级别大表拆分 —— 记一次分表工作的心路历程
亿级别大表拆分 —— 记一次分表工作的心路历程
|
存储 缓存 自然语言处理
阿里二面:MySQL索引是怎么支撑千万级表的快速查找?
在 MySQL 官方提到,改善操作性能的最佳方法 SELECT 在查询中测试的一个或多个列上创建索引。索引条目的作用类似于指向表行的指针,从而使查询可以快速确定哪些行与WHERE子句中的条件匹配,并检索这些行的其他列值。所有MySQL数据类型都可以建立索引。
234 0
|
中间件 数据库连接 数据库
分库分布的几件小事(二)如何进行分库分表的数据迁移
如何进行分库分表的数据迁移,如何业务无感知迁移数据
|
数据采集 算法 关系型数据库
数据库日增 20 万条数据,用读写分离和分库分表加持破它
数据库日增 20 万条数据,用读写分离和分库分表加持破它
113 0
数据库日增 20 万条数据,用读写分离和分库分表加持破它
|
存储 缓存 数据库
三分钟理解分库分表
这篇文章的脉络如下: 1、分库分表之前出现的问题 2、怎么分库分表? 3、分库分表的规则是什么? 下面按照这个脉络给出今天的文章
253 0