SpringBoot与shardingsphere分库分表实战

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 之前一篇文章中我们讲了基于Mysql8的读写分离(文末有链接),这次来说说分库分表的实现过程。

概念解析

垂直分片


按照业务拆分的方式称为垂直分片,又称为纵向拆分,它的核心理念是专库专用。 在拆分之前,一个数据库由多个数据表构成,每个表对应着不同的业务。而拆分之后,则是按照业务将表进行归类,分布到不同的数据库中,从而将压力分散至不同的数据库。 下图展示了根据业务需要,将用户表和订单表垂直分片到不同的数据库的方案。


1.jpeg


垂直分片往往需要对架构和设计进行调整。通常来讲,是来不及应对互联网业务需求快速变化的;而且,它也并无法真正的解决单点瓶颈。 垂直拆分可以缓解数据量和访问量带来的问题,但无法根治。如果垂直拆分之后,表中的数据量依然超过单节点所能承载的阈值,则需要水平分片来进一步处理。


水平分片


水平分片又称为横向拆分。 相对于垂直分片,它不再将数据根据业务逻辑分类,而是通过某个字段(或某几个字段),根据某种规则将数据分散至多个库或表中,每个分片仅包含数据的一部分。 例如:根据主键分片,偶数主键的记录放入0库(或表),奇数主键的记录放入1库(或表),如下图所示。


2.jpeg


水平分片从理论上突破了单机数据量处理的瓶颈,并且扩展相对自由,是分库分表的标准解决方案。


开发准备


分库分表常用的组件就是shardingsphere,目前已经是apache顶级项目,这次我们使用springboot2.1.9 shardingsphere4.0.0-RC2(均为最新版本)来完成分库分表的操作。


假设有一张订单表,我们需要将它分成2个库,每个库三张表,根据id字段取模确定最终数据的位置,数据库环境配置如下:


  • 172.31.0.129
  • blog
  • t_order_0
  • t_order_1
  • t_order_2


  • 172.31.0.131
  • blog
  • t_order_0
  • t_order_1
  • t_order_2


三张表的逻辑表为t_order,大家可以根据建表语句准备好其他所有数据表。


DROPTABLEIFEXISTS`t_order_0;
CREATETABLE`t_order_0` (
`id`bigint(20) NOTNULL,
`name`varchar(255) DEFAULTNULLCOMMENT'名称',
`type`varchar(255) DEFAULTNULLCOMMENT'类型',
`gmt_create`timestampNULLDEFAULTCURRENT_TIMESTAMPONUPDATECURRENT_TIMESTAMPCOMMENT'创建时间',
PRIMARYKEY (`id`)
) ENGINE=InnoDBDEFAULTCHARSET=utf8mb4COLLATE=utf8mb4_0900_ai_ci;


注意,千万不能将主键的生成规则设置成自增长,需要按照一定规则来生成主键,这里使用shardingsphere中的SNOWFLAKE俗称雪花算法来生成主键


代码实现


  • 修改pom.xml,引入相关组件


<properties><java.version>1.8</java.version><mybatis-plus.version>3.1.1</mybatis-plus.version><sharding-sphere.version>4.0.0-RC2</sharding-sphere.version></properties><dependencies><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><dependency><groupId>org.mybatis.spring.boot</groupId><artifactId>mybatis-spring-boot-starter</artifactId><version>2.0.1</version></dependency><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.15</version></dependency><dependency><groupId>com.baomidou</groupId><artifactId>mybatis-plus-boot-starter</artifactId><version>${mybatis-plus.version}</version></dependency><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-boot-starter</artifactId><version>${sharding-sphere.version}</version></dependency><dependency><groupId>org.apache.shardingsphere</groupId><artifactId>sharding-jdbc-spring-namespace</artifactId><version>${sharding-sphere.version}</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><optional>true</optional></dependency><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency></dependencies><build><plugins><plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId></plugin></plugins></build>


  • 配置mysql-plus


@Configuration@MapperScan("com.github.jianzh5.blog.mapper")
publicclassMybatisPlusConfig {
/*** 攻击 SQL 阻断解析器*/@BeanpublicPaginationInterceptorpaginationInterceptor(){
PaginationInterceptorpaginationInterceptor=newPaginationInterceptor();
List<ISqlParser>sqlParserList=newArrayList<>();
sqlParserList.add(newBlockAttackSqlParser());
paginationInterceptor.setSqlParserList(sqlParserList);
returnnewPaginationInterceptor();
      }
/*** SQL执行效率插件*/@Bean// @Profile({"dev","test"})publicPerformanceInterceptorperformanceInterceptor() {
returnnewPerformanceInterceptor();
      }
  }


  • 编写实体类Order


@Data@TableName("t_order")
publicclassOrder {
privateLongid;
privateStringname;
privateStringtype;
privateDategmtCreate;
  }


  • 编写DAO层,OrderMapper


/*** 订单Dao层*/publicinterfaceOrderMapperextendsBaseMapper<Order> {
  }



  • 编写接口及接口实现


publicinterfaceOrderServiceextendsIService<Order> {
  }
/*** 订单实现层* @author jianzh5* @date 2019/10/15 17:05*/@ServicepublicclassOrderServiceImplextendsServiceImpl<OrderMapper, Order>implementsOrderService {
  }


  • 配置文件(配置说明见备注)


server.port=8080#配置ds0和ds1两个数据源spring.shardingsphere.datasource.names=ds0,ds1#ds0配置spring.shardingsphere.datasource.ds0.type=com.zaxxer.hikari.HikariDataSourcespring.shardingsphere.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driverspring.shardingsphere.datasource.ds0.jdbc-url=jdbc:mysql://192.168.249.129:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=falsespring.shardingsphere.datasource.ds0.username=rootspring.shardingsphere.datasource.ds0.password=000000#ds1配置spring.shardingsphere.datasource.ds1.type=com.zaxxer.hikari.HikariDataSourcespring.shardingsphere.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driverspring.shardingsphere.datasource.ds1.jdbc-url=jdbc:mysql://192.168.249.131:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=falsespring.shardingsphere.datasource.ds1.username=rootspring.shardingsphere.datasource.ds1.password=000000#分库策略根据id取模确定数据进哪个数据库spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column=idspring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id%2}
#具体分表策略#节点ds0.t_order_0,ds0.t_order_1,ds1.t_order_0,ds1.t_order_1spring.shardingsphere.sharding.tables.t_order.actual-data-nodes=ds$->{0..1}.t_order_$->{0..2}
#分表字段idspring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column=id#分表策略根据id取模,确定数据最终落在那个表中spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression=t_order_$->{id%3}
#使用SNOWFLAKE算法生成主键spring.shardingsphere.sharding.tables.t_order.key-generator.column=idspring.shardingsphere.sharding.tables.t_order.key-generator.type=SNOWFLAKE#spring.shardingsphere.sharding.binding-tables=t_orderspring.shardingsphere.props.sql.show=true


  • 编写单元测试,查看结果是否正确


publicclassOrderServiceImplTestextendsBlogApplicationTests {
@AutowiredprivateOrderServiceorderService;
@TestpublicvoidtestSave(){
for (inti=0 ; i<100 ; i  ){
Orderorder=newOrder();
order.setName("电脑"i);
order.setType("办公");
orderService.save(order);
      }
    }
@TestpublicvoidtestGetById(){
longid=1184489163202789377L;
Orderorder=orderService.getById(id);
System.out.println(order.toString());
    }
  }


  • 在数据表中查看数据,确认数据正常插入


3.jpeg


  • 至此分库分表开发完成
相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3月前
|
Java 数据库连接 测试技术
SpringBoot 3.3.2 + ShardingSphere 5.5 + Mybatis-plus:轻松搞定数据加解密,支持字段级!
【8月更文挑战第30天】在数据驱动的时代,数据的安全性显得尤为重要。特别是在涉及用户隐私或敏感信息的应用中,如何确保数据在存储和传输过程中的安全性成为了开发者必须面对的问题。今天,我们将围绕SpringBoot 3.3.2、ShardingSphere 5.5以及Mybatis-plus的组合,探讨如何轻松实现数据的字段级加解密,为数据安全保驾护航。
248 1
|
6月前
|
Java
SpringBoot整合sharding-jdbc实现分库分表
SpringBoot整合sharding-jdbc实现分库分表
216 1
|
算法 Java 数据库连接
SpringBoot3分库分表
按照业务拆分的方式称为垂直分片,又称为纵向拆分,它的核心理念是专库专用;水平分片又称为横向拆分,是通过某些字段根据某种规则将数据分散至多个库或表中。
262 0
Springboot集成 Sharding-JDBC + Mybatis-Plus实现分库分表(源码)
Sharding-jdbc是开源的数据库操作中间件;定位为轻量级Java框架,在Java的JDBC层提供的额外服务。它使用客户端直连数据库,以jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。
|
SQL cobar 算法
SpringBoot 2 种方式快速实现分库分表,轻松拿捏!
SpringBoot 2 种方式快速实现分库分表,轻松拿捏!
5032 6
SpringBoot 2 种方式快速实现分库分表,轻松拿捏!
|
druid Java
springboot shardingsphere druid 动态数据源切换及分库分表
springboot shardingsphere druid 动态数据源切换及分库分表
|
Java 关系型数据库 MySQL
java springboot mysql shardingsphere 分库分表 下 (分库分表)
java springboot mysql shardingsphere 分库分表 下 (分库分表)
|
Java 关系型数据库 MySQL
java springboot mysql shardingsphere 分库分表 上 (单库分表)
java springboot mysql shardingsphere 分库分表 上 (单库分表)
|
算法 测试技术 Apache
Springboot2.x + ShardingSphere 实现分库分表
Springboot2.x + ShardingSphere 实现分库分表
141 0
|
27天前
|
JavaScript 安全 Java
如何使用 Spring Boot 和 Ant Design Pro Vue 实现动态路由和菜单功能,快速搭建前后端分离的应用框架
本文介绍了如何使用 Spring Boot 和 Ant Design Pro Vue 实现动态路由和菜单功能,快速搭建前后端分离的应用框架。首先,确保开发环境已安装必要的工具,然后创建并配置 Spring Boot 项目,包括添加依赖和配置 Spring Security。接着,创建后端 API 和前端项目,配置动态路由和菜单。最后,运行项目并分享实践心得,包括版本兼容性、安全性、性能调优等方面。
132 1
下一篇
无影云桌面