基于springboot+jpa 实现多租户动态切换多数据源 - 数据隔离方案选择分库还是分表

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,集群系列 2核4GB
简介: 基于springboot+jpa 实现多租户动态切换多数据源 - 数据隔离方案选择分库还是分表

需求背景


项目当前架构:当前架构数据共享仅支持在跨机构之间,如果集团内部如果需要不同子公司做数据共享,则需要子公司分别单独部署该系统。


新需求:实际场景中,集团可能统一部署该服务,不希望每个子公司单独部署和运维,子公司更多的是是使用者的角色。 因此既要满足集团之间数据共享(一个集团部署一个项目),又要满足集团内部子公司之间数据共享(还是集团只部署一个项目,子公司共用该平台,但要做到数据隔离),还要满足公司内部数据共享。


数据隔离方案考究


究竟是采用分库还是分表,在参考了诸多前辈的文章后,对我所做的业务进行了一定程度的分析,分析方面主要为两个方向:一是自身业务压力的承载能力和业务流量特点;二是所采用的数据库和服务器本身的承载能力


自身业务现状


数据库现状


现有模式下数据库表数量:70个(项目启动后固定生成的数据表)+ n(用户可自由导入数据生成的数据表)

预估一般子机构数量:200内

机构及子机构存储的数据总量:由机构及子机构决定(未知:(70+n)*200)


业务其他现状


  • 无峰谷流量波动,较为平稳
  • 数据库操作读多写少
  • 没有使用缓存中间件技术 - 暂不需要


mysql数据库现状


最大连接数:Mysql5.5~5.7:默认的最大连接数都是151,上限为:100000 ;Mysql5.0版本:默认的最大连接数为100,上限为16384

表数量:一般最多20亿个表,InnoDB允许多达 40 亿张表。(底层文件系统可能对代表表的文件数量有限制)

数据库的数量限制:Mysql对数据库的数量没有限制。底层文件系统可能对目录的数量有限制。

有一组数据可以参考:库物理文件大小<100G,表<100,字段<200,单表记录数<500W

此范围内的写入读取性能是比较好的


分库还是分表


分析点 分表 分库 分库还是分表
数据库数量 所有机构共用一个数据库 机构数量决定 预估200内 分库较好(单库能够支撑的并发量是有限的;业务量剧增,单库数据量越来越大,给存储造成巨大压力)
单库表数量 (70+n)*200 > 1.4w 70+n 分库较好(分表情况下单库的表数量较多,且表数量也不可估量;SQL 操作会变慢)
单库数据量 集团及子机构的数据量总和 具体单个机构的数据量 分库(子机构数据总量不可估量)
连接数 机构及子机构连接数总和 最大为机构及子机构连接数总和 分库(分表情况下,若每个机构同时取得100个连接,则100*200>16384,易出现数据库连接数过多问题)
读写压力 集中在一个库 分散在多个库,减轻压力 分库(分表情况下增加了数据库读写压力)


水平或垂直分库分表利弊分析


image.png

image.png


最终结论


采用水平分库方案

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
29天前
|
人工智能 自然语言处理 前端开发
SpringBoot + 通义千问 + 自定义React组件:支持EventStream数据解析的技术实践
【10月更文挑战第7天】在现代Web开发中,集成多种技术栈以实现复杂的功能需求已成为常态。本文将详细介绍如何使用SpringBoot作为后端框架,结合阿里巴巴的通义千问(一个强大的自然语言处理服务),并通过自定义React组件来支持服务器发送事件(SSE, Server-Sent Events)的EventStream数据解析。这一组合不仅能够实现高效的实时通信,还能利用AI技术提升用户体验。
149 2
|
3天前
|
SQL 前端开发 关系型数据库
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
SpringBoot使用mysql查询昨天、今天、过去一周、过去半年、过去一年数据
31 9
|
19小时前
|
Java 数据库连接
SpringBoot配置多数据源实战
第四届光学与机器视觉国际学术会议(ICOMV 2025) 2025 4th International Conference on Optics and Machine Vision
20 8
|
29天前
|
SQL JSON Java
mybatis使用三:springboot整合mybatis,使用PageHelper 进行分页操作,并整合swagger2。使用正规的开发模式:定义统一的数据返回格式和请求模块
这篇文章介绍了如何在Spring Boot项目中整合MyBatis和PageHelper进行分页操作,并且集成Swagger2来生成API文档,同时定义了统一的数据返回格式和请求模块。
50 1
mybatis使用三:springboot整合mybatis,使用PageHelper 进行分页操作,并整合swagger2。使用正规的开发模式:定义统一的数据返回格式和请求模块
|
8天前
|
存储 easyexcel Java
SpringBoot+EasyExcel轻松实现300万数据快速导出!
本文介绍了在项目开发中使用Apache POI进行数据导入导出的常见问题及解决方案。首先比较了HSSFWorkbook、XSSFWorkbook和SXSSFWorkbook三种传统POI版本的优缺点,然后根据数据量大小推荐了合适的使用场景。接着重点介绍了如何使用EasyExcel处理超百万数据的导入导出,包括分批查询、分批写入Excel、分批插入数据库等技术细节。通过测试,300万数据的导出用时约2分15秒,导入用时约91秒,展示了高效的数据处理能力。最后总结了公司现有做法的不足,并提出了改进方向。
|
30天前
|
easyexcel Java UED
SpringBoot中大量数据导出方案:使用EasyExcel并行导出多个excel文件并压缩zip后下载
在SpringBoot环境中,为了优化大量数据的Excel导出体验,可采用异步方式处理。具体做法是将数据拆分后利用`CompletableFuture`与`ThreadPoolTaskExecutor`并行导出,并使用EasyExcel生成多个Excel文件,最终将其压缩成ZIP文件供下载。此方案提升了导出效率,改善了用户体验。代码示例展示了如何实现这一过程,包括多线程处理、模板导出及资源清理等关键步骤。
|
29天前
|
Web App开发 JavaScript Java
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
这篇文章是关于如何使用Spring Boot整合Elasticsearch,并通过REST客户端操作Elasticsearch,实现一个简单的搜索前后端,以及如何爬取京东数据到Elasticsearch的案例教程。
168 0
elasticsearch学习五:springboot整合 rest 操作elasticsearch的 实际案例操作,编写搜索的前后端,爬取京东数据到elasticsearch中。
|
30天前
|
前端开发 Java 数据库
springBoot:template engine&自定义一个mvc&后端给前端传数据&增删改查 (三)
本文介绍了如何自定义一个 MVC 框架,包括后端向前端传递数据、前后端代理配置、实现增删改查功能以及分页查询。详细展示了代码示例,从配置文件到控制器、服务层和数据访问层的实现,帮助开发者快速理解和应用。
|
27天前
|
JavaScript 安全 Java
如何使用 Spring Boot 和 Ant Design Pro Vue 实现动态路由和菜单功能,快速搭建前后端分离的应用框架
本文介绍了如何使用 Spring Boot 和 Ant Design Pro Vue 实现动态路由和菜单功能,快速搭建前后端分离的应用框架。首先,确保开发环境已安装必要的工具,然后创建并配置 Spring Boot 项目,包括添加依赖和配置 Spring Security。接着,创建后端 API 和前端项目,配置动态路由和菜单。最后,运行项目并分享实践心得,包括版本兼容性、安全性、性能调优等方面。
132 1
|
11天前
|
JavaScript 安全 Java
如何使用 Spring Boot 和 Ant Design Pro Vue 构建一个具有动态路由和菜单功能的前后端分离应用。
本文介绍了如何使用 Spring Boot 和 Ant Design Pro Vue 构建一个具有动态路由和菜单功能的前后端分离应用。首先,创建并配置 Spring Boot 项目,实现后端 API;然后,使用 Ant Design Pro Vue 创建前端项目,配置动态路由和菜单。通过具体案例,展示了如何快速搭建高效、易维护的项目框架。
92 62
下一篇
无影云桌面