一、测试环境
- JDK：1.8
- SpringBoot：2.7.17
- MySQL驱动：5.1.49
- MyBatis：2.3.1
- shardingJDBC：5.1.0
二、核心依赖
<!-- mysql 驱动 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.49</version> </dependency> <!-- mybatis 依赖 --> <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.3.1</version> </dependency> <!-- sharding-jdbc依赖 --> <dependency> <groupId>org.apache.shardingsphere</groupId> <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId> <version>5.1.0</version> </dependency>
三、测试分库分表思路
在本地配置了两个数据库 testshardingdb1 和 testshardingdb2，然后每个库中有两个表user_1 和 user_2，使用分库分表工具 shardingJDBC 实现分库分表。
四、配置分库分表策略（关键）
具体配置文件如下：
# 控制台输出彩色日志 spring.output.ansi.enabled: ALWAYS # 定义数据源。这里定义了两个数据源，分别为m1和m2 spring.shardingsphere.datasource.names=m1,m2 # 初始化m1数据源。包括初始化连接url、用户名、密码、驱动类名、数据源类型 spring.shardingsphere.datasource.m1.url=jdbc:mysql://127.0.0.1:3306/testshardingdb1?characterEncoding=utf8&useSSL=false spring.shardingsphere.datasource.m1.username=root spring.shardingsphere.datasource.m1.password=123456 spring.shardingsphere.datasource.m1.driver-class-name=com.mysql.jdbc.Driver spring.shardingsphere.datasource.m1.type=com.zaxxer.hikari.HikariDataSource # 同样的配置项也适用于数据源m2，只是将前缀中的m1改为m2，将数据库名替换。 spring.shardingsphere.datasource.m2.url=jdbc:mysql://127.0.0.1:3306/testshardingdb2?characterEncoding=utf8&useSSL=false spring.shardingsphere.datasource.m2.username=root spring.shardingsphere.datasource.m2.password=123456 spring.shardingsphere.datasource.m2.driver-class-name=com.mysql.jdbc.Driver spring.shardingsphere.datasource.m2.type=com.zaxxer.hikari.HikariDataSource # 数据分片信息存储在内存中，适用于轻量级的应用或者开发、测试环境。 spring.shardingsphere.mode.type=Memory # 定义了逻辑表user在不同数据库中的实际数据节点，$->{1..2}表示数据源的数量，$->{1..2}表示数据库的数量。 spring.shardingsphere.rules.sharding.tables.user.actualDataNodes=m$->{1..2}.user_$->{1..2} # 定义了数据库分片策略的分片键，这里使用了user表的sex列作为分片键。 spring.shardingsphere.rules.sharding.tables.user.databaseStrategy.standard.shardingColumn=sex # 定义了数据库分片策略使用的分片算法，这里使用了名为database-inline的内联分片算法。 spring.shardingsphere.rules.sharding.tables.user.databaseStrategy.standard.shardingAlgorithmName=database-inline # 定义了表分片策略的分片键，这里使用了user表的id列作为分片键。 spring.shardingsphere.rules.sharding.tables.user.tableStrategy.standard.shardingColumn=id # 定义了表分片策略使用的分片算法，这里使用了名为table-inline的内联分片算法。 spring.shardingsphere.rules.sharding.tables.user.tableStrategy.standard.shardingAlgorithmName=table-inline # 定义了名为database-inline的内联分片算法的类型 spring.shardingsphere.rules.sharding.shardingAlgorithms.database-inline.type=INLINE # 定义了database-inline分片算法的具体算法表达式，这里根据sex列的值进行分片，将奇数的数据放在m1数据源中，偶数的数据放在m2数据源中。 spring.shardingsphere.rules.sharding.shardingAlgorithms.database-inline.props.algorithm-expression=m$->{sex % 2 + 1} # 定义了名为table-inline的内联分片算法的类型。 spring.shardingsphere.rules.sharding.shardingAlgorithms.table-inline.type=INLINE # 定义了table-inline分片算法的具体算法表达式，这里根据id列的值进行分片，为了打乱这里采用模3。 spring.shardingsphere.rules.sharding.shardingAlgorithms.table-inline.props.algorithm-expression=user_$->{(id % 3 == 0) ? id % 3 + 1 : id % 3} # 定义了user表主键生成策略的列名，这里使用id列作为主键。 spring.shardingsphere.rules.sharding.tables.user.key-generate-strategy.column=id # 定义了默认的主键生成策略，这里使用了snowflake算法。 spring.shardingsphere.sharding.default-key-generate-strategy.xxx=snowflake # 定义了名为snowflake的主键生成策略的类型，这里使用了Snowflake算法。 spring.shardingsphere.rules.sharding.key-generators.snowflake.type=SNOWFLAKE # 打开sql输出日志 spring.shardingsphere.props.sql-show=true # 指定 xxxMapper.xml的扫描路径 mybatis.mapper-locations: classpath:mapper/**/*.xml
上述配置实现了基于sex和id两个字段对数据进行分片，通过配置不同的分片算法和分片键，将数据分散存储在不同的数据库和表中，简单实现了数据的水平拆分和负载均衡。
五、编写数据库操作语句
@Data public class User { private Long id; // 雪花id-64位 private String name; // 姓名 private int sex; // 性别 }
@Mapper public interface ShardingDao { // 往库表插入数据 int insertUser(User user); // 查询所有库表数据 List<User> selectUser(); }
注意：mapper.xml中SQL语句中的表名是上面配置的逻辑表名：user
<?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"> <mapper namespace="com.example.demo.dao.ShardingDao"> <insert id="insertUser" parameterType="com.example.demo.model.User"> insert into user(name, sex) values (#{name}, #{sex}) </insert> <select id="selectUser" resultType="com.example.demo.model.User"> select * from user </select> </mapper>
六、分库分表测试
1、插入100条数据
@SpringBootTest public class ShardingJDBCTest { @Autowired private ShardingDao shardingDao; @Autowired private DataSource dataSource; // 插入100条数据 @Test public void testInsertShardingJDBC() { User user = new User(); for(int i=0; i<100; i++) { user.setName("小明" + i); user.setSex(i); if(shardingDao.insertUser(user) == 1) { System.out.println("插入成功！"); } else { System.out.println("插入失败！"); } } } // 查询所有数据 @Test public void testSelectShardingJDBC() { List<User> users = shardingDao.selectUser(); if (users == null) { System.out.println("查询失败！结果为null"); } else { for (User user:users) { System.out.println(user); } } } }
因为上面我们开启了shardingJDBC的打印日志，控制台可以看到逻辑SQL和实际SQL：
查看插入结果：
2、查询所有数据
@SpringBootTest public class ShardingJDBCTest { @Autowired private ShardingDao shardingDao; @Autowired private DataSource dataSource; // 查询所有数据 @Test public void testSelectShardingJDBC() { List<User> users = shardingDao.selectUser(); if (users == null) { System.out.println("查询失败！结果为null"); } else { for (User user:users) { System.out.println(user); } } } }
