基于springboot+jpa 实现多租户动态切换多数据源 - 数据隔离方案选择分库还是分表

本文涉及的产品
RDS MySQL DuckDB 分析主实例,基础系列 4核8GB
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
RDS AI 助手,专业版
简介: 基于springboot+jpa 实现多租户动态切换多数据源 - 数据隔离方案选择分库还是分表

需求背景


项目当前架构:当前架构数据共享仅支持在跨机构之间,如果集团内部如果需要不同子公司做数据共享,则需要子公司分别单独部署该系统。


新需求:实际场景中,集团可能统一部署该服务,不希望每个子公司单独部署和运维,子公司更多的是是使用者的角色。 因此既要满足集团之间数据共享(一个集团部署一个项目),又要满足集团内部子公司之间数据共享(还是集团只部署一个项目,子公司共用该平台,但要做到数据隔离),还要满足公司内部数据共享。


数据隔离方案考究


究竟是采用分库还是分表,在参考了诸多前辈的文章后,对我所做的业务进行了一定程度的分析,分析方面主要为两个方向:一是自身业务压力的承载能力和业务流量特点;二是所采用的数据库和服务器本身的承载能力


自身业务现状


数据库现状


现有模式下数据库表数量:70个(项目启动后固定生成的数据表)+ n(用户可自由导入数据生成的数据表)

预估一般子机构数量:200内

机构及子机构存储的数据总量:由机构及子机构决定(未知:(70+n)*200)


业务其他现状


  • 无峰谷流量波动,较为平稳
  • 数据库操作读多写少
  • 没有使用缓存中间件技术 - 暂不需要


mysql数据库现状


最大连接数:Mysql5.5~5.7:默认的最大连接数都是151,上限为:100000 ;Mysql5.0版本:默认的最大连接数为100,上限为16384

表数量:一般最多20亿个表,InnoDB允许多达 40 亿张表。(底层文件系统可能对代表表的文件数量有限制)

数据库的数量限制:Mysql对数据库的数量没有限制。底层文件系统可能对目录的数量有限制。

有一组数据可以参考:库物理文件大小<100G,表<100,字段<200,单表记录数<500W

此范围内的写入读取性能是比较好的


分库还是分表


分析点 分表 分库 分库还是分表
数据库数量 所有机构共用一个数据库 机构数量决定 预估200内 分库较好(单库能够支撑的并发量是有限的;业务量剧增,单库数据量越来越大,给存储造成巨大压力)
单库表数量 (70+n)*200 > 1.4w 70+n 分库较好(分表情况下单库的表数量较多,且表数量也不可估量;SQL 操作会变慢)
单库数据量 集团及子机构的数据量总和 具体单个机构的数据量 分库(子机构数据总量不可估量)
连接数 机构及子机构连接数总和 最大为机构及子机构连接数总和 分库(分表情况下,若每个机构同时取得100个连接,则100*200>16384,易出现数据库连接数过多问题)
读写压力 集中在一个库 分散在多个库,减轻压力 分库(分表情况下增加了数据库读写压力)


水平或垂直分库分表利弊分析


image.png

image.png


最终结论


采用水平分库方案

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。 &nbsp; 相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/mysql&nbsp;
目录
相关文章
|
11月前
|
JSON Java 数据格式
微服务——SpringBoot使用归纳——Spring Boot返回Json数据及数据封装——封装统一返回的数据结构
本文介绍了在Spring Boot中封装统一返回的数据结构的方法。通过定义一个泛型类`JsonResult&lt;T&gt;`,包含数据、状态码和提示信息三个属性,满足不同场景下的JSON返回需求。例如,无数据返回时可设置默认状态码&quot;0&quot;和消息&quot;操作成功!&quot;,有数据返回时也可自定义状态码和消息。同时,文章展示了如何在Controller中使用该结构,通过具体示例(如用户信息、列表和Map)说明其灵活性与便捷性。最后总结了Spring Boot中JSON数据返回的配置与实际项目中的应用技巧。
862 0
|
11月前
|
JSON Java fastjson
微服务——SpringBoot使用归纳——Spring Boot返回Json数据及数据封装——使用 fastJson 处理 null
本文介绍如何使用 fastJson 处理 null 值。与 Jackson 不同,fastJson 需要通过继承 `WebMvcConfigurationSupport` 类并覆盖 `configureMessageConverters` 方法来配置 null 值的处理方式。例如,可将 String 类型的 null 转为 &quot;&quot;,Number 类型的 null 转为 0,避免循环引用等。代码示例展示了具体实现步骤,包括引入相关依赖、设置序列化特性及解决中文乱码问题。
596 0
|
11月前
|
JSON Java fastjson
微服务——SpringBoot使用归纳——Spring Boot返回Json数据及数据封装——Spring Boot 默认对Json的处理
本文介绍了在Spring Boot中返回Json数据的方法及数据封装技巧。通过使用`@RestController`注解,可以轻松实现接口返回Json格式的数据,默认使用的Json解析框架是Jackson。文章详细讲解了如何处理不同数据类型(如类对象、List、Map)的Json转换,并提供了自定义配置以应对null值问题。此外,还对比了Jackson与阿里巴巴FastJson的特点,以及如何在项目中引入和配置FastJson,解决null值转换和中文乱码等问题。
1588 0
|
7月前
|
JSON Java 数据格式
Spring Boot返回Json数据及数据封装
在Spring Boot中,接口间及前后端的数据传输通常使用JSON格式。通过@RestController注解,可轻松实现Controller返回JSON数据。该注解是Spring Boot新增的组合注解,结合了@Controller和@ResponseBody的功能,默认将返回值转换为JSON格式。Spring Boot底层默认采用Jackson作为JSON解析框架,并通过spring-boot-starter-json依赖集成了相关库,包括jackson-databind、jackson-datatype-jdk8等常用模块,简化了开发者对依赖的手动管理。
711 3
|
8月前
|
Java API 数据库
JPA简介:Spring Boot环境下的实践指南
上述内容仅是JPA在Spring Boot环境下使用的冰山一角,实际的实践中你会发现更深更广的应用。总而言之,只要掌握了JPA的规则,你就可以借助Spring Boot无比丰富的功能,娴熟地驾驶这台高性能的跑车,在属于你的程序世界里驰骋。
313 15
|
10月前
|
SQL Java 编译器
深入理解 Spring Data JPA 的导入与使用:以 UserRepository为例
本文深入解析了 Spring Data JPA 中 `UserRepository` 的导入与使用。通过示例代码,详细说明了为何需要导入 `User` 实体类、`JpaRepository` 接口及 `@Repository` 注解。这些导入语句分别用于定义操作实体、提供数据库交互方法和标识数据访问组件。文章还探讨了未导入时的编译问题,并展示了实际应用场景,如用户保存、查询与删除操作。合理使用导入语句,可让代码更简洁高效,充分发挥 Spring Data JPA 的优势。
611 0
|
4月前
|
JavaScript Java 关系型数据库
基于springboot的项目管理系统
本文探讨项目管理系统在现代企业中的应用与实现,分析其研究背景、意义及现状,阐述基于SSM、Java、MySQL和Vue等技术构建系统的关键方法,展现其在提升管理效率、协同水平与风险管控方面的价值。
|
4月前
|
搜索推荐 JavaScript Java
基于springboot的儿童家长教育能力提升学习系统
本系统聚焦儿童家长教育能力提升,针对家庭教育中理念混乱、时间不足、个性化服务缺失等问题,构建科学、系统、个性化的在线学习平台。融合Spring Boot、Vue等先进技术,整合优质教育资源,提供高效便捷的学习路径,助力家长掌握科学育儿方法,促进儿童全面健康发展,推动家庭和谐与社会进步。
|
4月前
|
JavaScript Java 关系型数据库
基于springboot的古树名木保护管理系统
本研究针对古树保护面临的严峻挑战,构建基于Java、Vue、MySQL与Spring Boot技术的信息化管理系统,实现古树资源的动态监测、数据管理与科学保护,推动生态、文化与经济可持续发展。

热门文章

最新文章