基于springboot+jpa 实现多租户动态切换多数据源 - 数据隔离方案选择分库还是分表

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 基于springboot+jpa 实现多租户动态切换多数据源 - 数据隔离方案选择分库还是分表

需求背景


项目当前架构:当前架构数据共享仅支持在跨机构之间,如果集团内部如果需要不同子公司做数据共享,则需要子公司分别单独部署该系统。


新需求:实际场景中,集团可能统一部署该服务,不希望每个子公司单独部署和运维,子公司更多的是是使用者的角色。 因此既要满足集团之间数据共享(一个集团部署一个项目),又要满足集团内部子公司之间数据共享(还是集团只部署一个项目,子公司共用该平台,但要做到数据隔离),还要满足公司内部数据共享。


数据隔离方案考究


究竟是采用分库还是分表,在参考了诸多前辈的文章后,对我所做的业务进行了一定程度的分析,分析方面主要为两个方向:一是自身业务压力的承载能力和业务流量特点;二是所采用的数据库和服务器本身的承载能力


自身业务现状


数据库现状


现有模式下数据库表数量:70个(项目启动后固定生成的数据表)+ n(用户可自由导入数据生成的数据表)

预估一般子机构数量:200内

机构及子机构存储的数据总量:由机构及子机构决定(未知:(70+n)*200)


业务其他现状


  • 无峰谷流量波动,较为平稳
  • 数据库操作读多写少
  • 没有使用缓存中间件技术 - 暂不需要


mysql数据库现状


最大连接数:Mysql5.5~5.7:默认的最大连接数都是151,上限为:100000 ;Mysql5.0版本:默认的最大连接数为100,上限为16384

表数量:一般最多20亿个表,InnoDB允许多达 40 亿张表。(底层文件系统可能对代表表的文件数量有限制)

数据库的数量限制:Mysql对数据库的数量没有限制。底层文件系统可能对目录的数量有限制。

有一组数据可以参考:库物理文件大小<100G,表<100,字段<200,单表记录数<500W

此范围内的写入读取性能是比较好的


分库还是分表


分析点 分表 分库 分库还是分表
数据库数量 所有机构共用一个数据库 机构数量决定 预估200内 分库较好(单库能够支撑的并发量是有限的;业务量剧增,单库数据量越来越大,给存储造成巨大压力)
单库表数量 (70+n)*200 > 1.4w 70+n 分库较好(分表情况下单库的表数量较多,且表数量也不可估量;SQL 操作会变慢)
单库数据量 集团及子机构的数据量总和 具体单个机构的数据量 分库(子机构数据总量不可估量)
连接数 机构及子机构连接数总和 最大为机构及子机构连接数总和 分库(分表情况下,若每个机构同时取得100个连接,则100*200>16384,易出现数据库连接数过多问题)
读写压力 集中在一个库 分散在多个库,减轻压力 分库(分表情况下增加了数据库读写压力)


水平或垂直分库分表利弊分析


image.png

image.png


最终结论


采用水平分库方案

相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
9
分享
相关文章
微服务——SpringBoot使用归纳——Spring Boot返回Json数据及数据封装——封装统一返回的数据结构
本文介绍了在Spring Boot中封装统一返回的数据结构的方法。通过定义一个泛型类`JsonResult&lt;T&gt;`,包含数据、状态码和提示信息三个属性,满足不同场景下的JSON返回需求。例如,无数据返回时可设置默认状态码&quot;0&quot;和消息&quot;操作成功!&quot;,有数据返回时也可自定义状态码和消息。同时,文章展示了如何在Controller中使用该结构,通过具体示例(如用户信息、列表和Map)说明其灵活性与便捷性。最后总结了Spring Boot中JSON数据返回的配置与实际项目中的应用技巧。
92 0
|
23天前
|
微服务——SpringBoot使用归纳——Spring Boot返回Json数据及数据封装——使用 fastJson 处理 null
本文介绍如何使用 fastJson 处理 null 值。与 Jackson 不同,fastJson 需要通过继承 `WebMvcConfigurationSupport` 类并覆盖 `configureMessageConverters` 方法来配置 null 值的处理方式。例如,可将 String 类型的 null 转为 &quot;&quot;,Number 类型的 null 转为 0,避免循环引用等。代码示例展示了具体实现步骤,包括引入相关依赖、设置序列化特性及解决中文乱码问题。
49 0
|
23天前
|
微服务——SpringBoot使用归纳——Spring Boot返回Json数据及数据封装——Spring Boot 默认对Json的处理
本文介绍了在Spring Boot中返回Json数据的方法及数据封装技巧。通过使用`@RestController`注解,可以轻松实现接口返回Json格式的数据,默认使用的Json解析框架是Jackson。文章详细讲解了如何处理不同数据类型(如类对象、List、Map)的Json转换,并提供了自定义配置以应对null值问题。此外,还对比了Jackson与阿里巴巴FastJson的特点,以及如何在项目中引入和配置FastJson,解决null值转换和中文乱码等问题。
46 0
|
3天前
|
深入理解 Spring Data JPA 的导入与使用:以 UserRepository为例
本文深入解析了 Spring Data JPA 中 `UserRepository` 的导入与使用。通过示例代码,详细说明了为何需要导入 `User` 实体类、`JpaRepository` 接口及 `@Repository` 注解。这些导入语句分别用于定义操作实体、提供数据库交互方法和标识数据访问组件。文章还探讨了未导入时的编译问题,并展示了实际应用场景,如用户保存、查询与删除操作。合理使用导入语句,可让代码更简洁高效,充分发挥 Spring Data JPA 的优势。
23 0
Java||Springboot读取本地目录的文件和文件结构,读取服务器文档目录数据供前端渲染的API实现
博客不应该只有代码和解决方案,重点应该在于给出解决方案的同时分享思维模式,只有思维才能可持续地解决问题,只有思维才是真正值得学习和分享的核心要素。如果这篇博客能给您带来一点帮助,麻烦您点个赞支持一下,还可以收藏起来以备不时之需,有疑问和错误欢迎在评论区指出~
Java||Springboot读取本地目录的文件和文件结构,读取服务器文档目录数据供前端渲染的API实现
SpringBoot 通过集成 Flink CDC 来实时追踪 MySql 数据变动
通过详细的步骤和示例代码,您可以在 SpringBoot 项目中成功集成 Flink CDC,并实时追踪 MySQL 数据库的变动。
420 43
SpringBoot多数据源配置
在实际的开发或者线上环境中,一般都不仅仅是一个数据库走天下,而是根据业务进行拆分多个数据库,今天就来学习如何对springboot进行多数据源配置。
422 0
SpringBoot多数据源配置
基于SpringBoot+Vue实现的留守儿童爱心网站设计与实现(计算机毕设项目实战+源码+文档)
博主是一位全网粉丝超过100万的CSDN特邀作者、博客专家,专注于Java、Python、PHP等技术领域。提供SpringBoot、Vue、HTML、Uniapp、PHP、Python、NodeJS、爬虫、数据可视化等技术服务,涵盖免费选题、功能设计、开题报告、论文辅导、答辩PPT等。系统采用SpringBoot后端框架和Vue前端框架,确保高效开发与良好用户体验。所有代码由博主亲自开发,并提供全程录音录屏讲解服务,保障学习效果。欢迎点赞、收藏、关注、评论,获取更多精品案例源码。
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等