三.水平拆库
场景:以下我们基于博客文章表分库场景来分析
目标:
- 1.分成1024张库, 000-511号库共用数据节点node1(一个数据节点保护一主多从数据源), 512~1023号库用数据节点node2
- 2.支持读写分离
表结构如下(节选部分字段):
CREATE TABLE IF NOT EXISTS `article` ( `id` bigint(20) NOT NULL COMMENT '文章id', `user_id` bigint(20) NOT NULL DEFAULT '0' COMMENT '作者id', `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '文章状态 -1: 删除 1:草稿 2:已发布' , `create_time` datetime DEFAULT NULL, `update_time` datetime DEFAULT NULL, PRIMARY KEY (`id`), KEY `idx_create_time` (`create_time`), KEY `idx_user_id` (`user_id`), KEY `idx_status` (`status`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT '订单信息表';
1)确定shardingKey
按照user_id sharding
2) 确定分库数量
假如分1024个库,按照user_id % 1024 hash
user_id % 1024 = 1 分到db_001库
user_id % 1024 = 2 分到db_002库
依次类推
3) 架构图如下
4) 性能线性增长
目前是2个节点,假如后期达到瓶颈,我们可以增加至4个节点
最多可以增加只1024个节点,性能线性增长
5) 非shardingKey查询问题
对于水平分表/分库后,非shardingKey查询首先得考虑到
- 基因法: 见《分布式唯一id生成器最佳实践》 通过主键id可以直接定位到对应库号
- 映射表法: 可以建一张mapping表关联,但是这样引入了额外的单点问题
- 冗余法: 相同数据按照另外一个字段冗余一张表
- nosql法: 将全量数据存到ES,查询ES
四.基于mybatis插件水平分库分表
基于mybatis分库分表,一般常用的一种是基于spring AOP方式, 另外一种基于mybatis插件。其实两种方式思路差不多。
基于mybatis分库得首先解决如下问题
- 1. 如何根据shardingKey选择不同的数据源
- 2. 在哪个阶段切换数据源
- 3. 在哪个阶段 更改sql语句(也就是需要更改库名&表名, 解决了问题1和问题2,问题3就很容易解决了)
问题1: 使用Spring的AbstractRoutingDataSource进行数据源的动态切换,原理是使用ThreadLocal先存储数据源key,等需要的的时候获取。
问题2: 这个问题得先分析一下mybatis四大类和插件执行流程,也就是找出也就是分析Executor 和StatementHandler哪个在获取属于源之前执行
为了比较直观解决这个问题,我分别在Executor 和StatementHandler阶段2个拦截器
package com.bytearch.mybatis.sharding.plugin; import lombok.extern.slf4j.Slf4j; import org.apache.ibatis.executor.statement.StatementHandler; import org.apache.ibatis.plugin.*; import java.sql.Connection; import java.util.Properties; /** * @author bytearch */ @Intercepts({ @Signature(type = StatementHandler.class, method = "prepare", args = {Connection.class, Integer.class})}) @Slf4j public class StatementHandlerTestInterceptor implements Interceptor { @Override public Object intercept(Invocation invocation) throws Throwable { log.info("statementHander执行阶段>>>>>>>"); return invocation.proceed(); } @Override public Object plugin(Object target) { if (target instanceof StatementHandler) { return Plugin.wrap(target, this); } return target; } @Override public void setProperties(Properties properties) { } } package com.bytearch.mybatis.sharding.plugin; import lombok.extern.slf4j.Slf4j; import org.apache.ibatis.executor.Executor; import org.apache.ibatis.mapping.MappedStatement; import org.apache.ibatis.plugin.*; import org.apache.ibatis.session.ResultHandler; import org.apache.ibatis.session.RowBounds; import java.util.Properties; /** * @author bytearch */ @Intercepts( { @Signature(type = Executor.class, method = "update", args = {MappedStatement.class, Object.class}), @Signature(type = Executor.class, method = "query", args = {MappedStatement.class, Object.class, RowBounds.class, ResultHandler.class}), }) @Slf4j public class ExecutorHandlerTestInterceptor implements Interceptor { @Override public Object intercept(Invocation invocation) throws Throwable { log.info("Executor执行阶段 >>>>>>>>>>>"); return invocation.proceed(); } @Override public Object plugin(Object target) { if (target instanceof Executor) { return Plugin.wrap(target, this); } return target; } @Override public void setProperties(Properties properties) { } }
实现动态数据源获取接口
package com.bytearch.mybatis.sharding.configuration; import lombok.extern.slf4j.Slf4j; import org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource; /** * @author yarw */ @Slf4j public class DynamicDatasource extends AbstractRoutingDataSource { @Override protected Object determineCurrentLookupKey() { log.info("[获取datasourceKey:{}]", DynamicDataSourceContextHolder.getDataSourceKey()); return DynamicDataSourceContextHolder.getDataSourceKey(); }
测试结果如下
由此可知,我们需要在Executor阶段 切换数据源
