1 @DS实现动态切换数据源原理
- 首先mybatis-plus使用
com.baomidou.dynamic.datasource.AbstractRoutingDataSource
继承AbstractDataSource
接管数据源;具体实现类为
com.baomidou.dynamic.datasource.DynamicRoutingDataSource。项目初始化调用public synchronized void addDataSource(String ds, DataSource dataSource)加载数据源,数据源存进dataSourceMap中。
private Map<String, DataSource> dataSourceMap = new LinkedHashMap<>(); private Map<String, DynamicGroupDataSource> groupDataSources = new ConcurrentHashMap<>(); public synchronized void addDataSource(String ds, DataSource dataSource) { if (p6spy) { dataSource = new P6DataSource(dataSource); } dataSourceMap.put(ds, dataSource); if (ds.contains(UNDERLINE)) { String group = ds.split(UNDERLINE)[0]; if (groupDataSources.containsKey(group)) { groupDataSources.get(group).addDatasource(dataSource); } else { try { DynamicGroupDataSource groupDatasource = new DynamicGroupDataSource(group, strategy.newInstance()); groupDatasource.addDatasource(dataSource); groupDataSources.put(group, groupDatasource); } catch (Exception e) { log.error("dynamic-datasource - add the datasource named [{}] error", ds, e); dataSourceMap.remove(ds); } } } log.info("dynamic-datasource - load a datasource named [{}] success", ds); }
- 进行数据操作时,方法会被
com.baomidou.dynamic.datasource.aop.DynamicDataSourceAnnotationInterceptor
拦截,
public class DynamicDataSourceAnnotationInterceptor implements MethodInterceptor { /** * The identification of SPEL. */ private static final String DYNAMIC_PREFIX = "#"; private static final DynamicDataSourceClassResolver RESOLVER = new DynamicDataSourceClassResolver(); @Setter private DsProcessor dsProcessor; @Override public Object invoke(MethodInvocation invocation) throws Throwable { try { DynamicDataSourceContextHolder.push(determineDatasource(invocation)); return invocation.proceed(); } finally { DynamicDataSourceContextHolder.poll(); } } private String determineDatasource(MethodInvocation invocation) throws Throwable { Method method = invocation.getMethod(); DS ds = method.isAnnotationPresent(DS.class) ? method.getAnnotation(DS.class) : AnnotationUtils.findAnnotation(RESOLVER.targetClass(invocation), DS.class); String key = ds.value(); return (!key.isEmpty() && key.startsWith(DYNAMIC_PREFIX)) ? dsProcessor .determineDatasource(invocation, key) : key; } }
拦截器首先从被拦截的方法或者类(一般@DS注解用于Service,也可用于Mapper和Controller)上寻找@DS
注解,获取到@DS
注解的值后将其存入
com.baomidou.dynamic.datasource.toolkit.DynamicDataSourceContextHolder
;DynamicDataSourceContextHolder
使用ThreadLocal
存储当前线程的数据源名。
public final class DynamicDataSourceContextHolder { /** * 为什么要用链表存储(准确的是栈) * 为了支持嵌套切换,如ABC三个service都是不同的数据源 * 其中A的某个业务要调B的方法,B的方法需要调用C的方法。一级一级调用切换,形成了链。 * 传统的只设置当前线程的方式不能满足此业务需求,必须模拟栈,后进先出。 */ @SuppressWarnings("unchecked") private static final ThreadLocal<Deque<String>> LOOKUP_KEY_HOLDER = new ThreadLocal() { @Override protected Object initialValue() { return new ArrayDeque(); } }; private DynamicDataSourceContextHolder() { } /** * 获得当前线程数据源 * @return 数据源名称 */ public static String peek() { return LOOKUP_KEY_HOLDER.get().peek(); } /** * 设置当前线程数据源 * 如非必要不要手动调用,调用后确保最终清除 * @param ds 数据源名称 */ public static void push(String ds) { LOOKUP_KEY_HOLDER.get().push(StringUtils.isEmpty(ds) ? "" : ds); } /** * 清空当前线程数据源 * 如果当前线程是连续切换数据源 只会移除掉当前线程的数据源名称 */ public static void poll() { Deque<String> deque = LOOKUP_KEY_HOLDER.get(); deque.poll(); if (deque.isEmpty()) { LOOKUP_KEY_HOLDER.remove(); } } /** * 强制清空本地线程 * 防止内存泄漏,如手动调用了push可调用此方法确保清除 */ public static void clear() { LOOKUP_KEY_HOLDER.remove(); } }
进行数据操作时,会调用org.springframework.jdbc.datasource.getConnection()
方法;getConnection()
方法最终调用了
com.baomidou.dynamic.datasource.AbstractRoutingDataSource
的getConnection()
方法;
@Override public Connection getConnection() throws SQLException { return determineDataSource().getConnection(); }
determineDataSource()由子类com.baomidou.dynamic.datasource.DynamicRoutingDataSource实现,可以看到DynamicRoutingDataSource从DynamicDataSourceContextHolder获取数据源名称,这个在之前拦截器处理存进ThreadLocal
中,如果有数据源名称则从dataSourceMap
中获取,没有则获取默认的primary数据源。
public DataSource determineDataSource() { return getDataSource(DynamicDataSourceContextHolder.peek()); } public DataSource getDataSource(String ds) { if (StringUtils.isEmpty(ds)) { return determinePrimaryDataSource(); } else if (!groupDataSources.isEmpty() && groupDataSources.containsKey(ds)) { log.debug("dynamic-datasource switch to the datasource named [{}]", ds); return groupDataSources.get(ds).determineDataSource(); } else if (dataSourceMap.containsKey(ds)) { log.debug("dynamic-datasource switch to the datasource named [{}]", ds); return dataSourceMap.get(ds); } if (strict) { throw new RuntimeException("dynamic-datasource could not find a datasource named" + ds); } return determinePrimaryDataSource(); } private DataSource determinePrimaryDataSource() { log.debug("dynamic-datasource switch to the primary datasource"); return groupDataSources.containsKey(primary) ? groupDataSources.get(primary) .determineDataSource() : dataSourceMap.get(primary); }
此时的数据源已经切换成了我们需要的数据源。
- 数据操作完成后,方法返回第二步中的拦截器,执行
DynamicDataSourceContextHolder.poll();
清除掉此次的数据源,避免影响后续数据操作。
附上动态数据源相关配置
spring: application: name: datasource: dynamic: primary: dataSource1 datasource: dataSource1: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.microsoft.sqlserver.jdbc.SQLServerDriver url: jdbc:sqlserver://localhost:1433;database=dataSource1 username: password: dataSource2: type: com.alibaba.druid.pool.DruidDataSource driverClassName: com.microsoft.sqlserver.jdbc.SQLServerDriver url: jdbc:sqlserver://localhost:1433;instanceName=sqlserver2017;DatabaseName=dataSource2 username: password:
pom.xml
<dependency> <groupId>com.baomidou</groupId> <artifactId>dynamic-datasource-spring-boot-starter</artifactId> <version>2.5.6</version> </dependency>
相应类
@Service //@DS("dataSource2") 放在类上就是类下所有方法都使用这个数据源。 public class XXXServiceImpl extends BaseServiceImpl<XXXMapper, XXXBean> implements XXXService { @DS("dataSource1") public void selectDataFromSource1() { // do somethinng; } @DS("dataSource2") public void selectDataFromSource1() { // do somethinng; } }
**注意:**不可在事务中切换数据库,保证事务需要方法使用同一连接,使用@DS(dataSource1)
方法调用@DS(dataSource2)
无法切换连接,会导致方法报错。
2 不可在事务中切换数据库分析解决
现在我们先来看一下,是怎么解决问题的。
添加@DS(“quartz”)注解只用支持多数据源切换,value是你配置文件里面datasource数据源的名称即可。
@DS("quartz") @Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = Exception.class) public interface JobInfoService extends IService<JobInfo> { }
相关的业务代码如下,简单列举 JobController 中的createJob方法(这里吐槽一下,代码很low,当前版本仅为了快速实现功能)
@RestController @RequestMapping("job") @Slf4j public class JobController { @Autowired private final JobService jobService; @PostMapping("add") @Transactional(rollbackFor = Exception.class) public JsonResult createJob(@RequestBody JobDto dto) { jobService...//同样的事务数据源错误 } }
到这里就可以实现,在保证事务的同时解决多数据源切换的问题了。
首先,在JobController 中的createJob方法上加 @Transactional(rollbackFor = Exception.class),默认事务的传播机制是,PROPAGATION_REQUIRED ,可以不指定。
然后,在JobInfoServic 类上,添加 @Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = Exception.class) ,指定事务的传播机制是,Propagation.REQUIRES_NEW。
至此,冲突解决!
3 原因解析
原本的一个事务拆分成两个事务。只在JobController 中的createJob方法加事务,你会发现在切面里看数据源切换了,但事务内的数据源依然是旧的,这样就会报出XXX表找不到的问题。
1.因为spring在开启事务的同时,会去数据库连接池拿数据库连接。如果仅在JobController 中的createJob方法上添加@Transactional,那么,TransactionInterceptor 会使用 Spring DataSourceTransactionManager 创建事务,并将事务信息(获取数据源connection连接,此时获取到的数据源是默认配置的base数据源信息)连接信息,通过 ThreadLocal 绑定在当前线程。
2.此时当前线程事务绑定的连接信息是base数据源,当我们在内层JobInfoServic使用@DS切换数据源,并没有重新开启新事务,没有改变当前线程事务的连接信息,仅仅是做了一次拦截,改变了DataSourceHolder的栈顶dataSource,对于整个事务的连接是没有影响的,所以会产生数据源没有切换的问题。
3.所以我这里的解决办法是,将保证createJob操作数据完整性的事务,拆解成两个事务,在JobInfoServic 类上,除了添加切换数据源的注解@DS(“quartz”),再添加@Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = Exception.class),新建开一个事务,获取新数据源connection连接。