Mybatis-plus@DS实现动态切换数据源应用

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介: Mybatis-plus@DS实现动态切换数据源应用

1 @DS实现动态切换数据源原理

  1. 首先mybatis-plus使用com.baomidou.dynamic.datasource.AbstractRoutingDataSource继承 AbstractDataSource接管数据源;具体实现类为

com.baomidou.dynamic.datasource.DynamicRoutingDataSource。项目初始化调用public synchronized void addDataSource(String ds, DataSource dataSource)加载数据源,数据源存进dataSourceMap中。

private Map<String, DataSource> dataSourceMap = new LinkedHashMap<>();
private Map<String, DynamicGroupDataSource> groupDataSources = new ConcurrentHashMap<>();
public synchronized void addDataSource(String ds, DataSource dataSource) {
    if (p6spy) {
      dataSource = new P6DataSource(dataSource);
    }
    dataSourceMap.put(ds, dataSource);
    if (ds.contains(UNDERLINE)) {
      String group = ds.split(UNDERLINE)[0];
      if (groupDataSources.containsKey(group)) {
        groupDataSources.get(group).addDatasource(dataSource);
      } else {
        try {
          DynamicGroupDataSource groupDatasource = new DynamicGroupDataSource(group,
              strategy.newInstance());
          groupDatasource.addDatasource(dataSource);
          groupDataSources.put(group, groupDatasource);
        } catch (Exception e) {
          log.error("dynamic-datasource - add the datasource named [{}] error", ds, e);
          dataSourceMap.remove(ds);
        }
      }
    }
    log.info("dynamic-datasource - load a datasource named [{}] success", ds);
  }
  1. 进行数据操作时,方法会被com.baomidou.dynamic.datasource.aop.DynamicDataSourceAnnotationInterceptor拦截,
public class DynamicDataSourceAnnotationInterceptor implements MethodInterceptor {
  /**
   * The identification of SPEL.
   */
  private static final String DYNAMIC_PREFIX = "#";
  private static final DynamicDataSourceClassResolver RESOLVER = new DynamicDataSourceClassResolver();
  @Setter
  private DsProcessor dsProcessor;
  @Override
  public Object invoke(MethodInvocation invocation) throws Throwable {
    try {
      DynamicDataSourceContextHolder.push(determineDatasource(invocation));
      return invocation.proceed();
    } finally {
      DynamicDataSourceContextHolder.poll();
    }
  }
  private String determineDatasource(MethodInvocation invocation) throws Throwable {
    Method method = invocation.getMethod();
    DS ds = method.isAnnotationPresent(DS.class)
        ? method.getAnnotation(DS.class)
        : AnnotationUtils.findAnnotation(RESOLVER.targetClass(invocation), DS.class);
    String key = ds.value();
    return (!key.isEmpty() && key.startsWith(DYNAMIC_PREFIX)) ? dsProcessor
        .determineDatasource(invocation, key) : key;
  }
}

拦截器首先从被拦截的方法或者类(一般@DS注解用于Service,也可用于Mapper和Controller)上寻找@DS注解,获取到@DS注解的值后将其存入

com.baomidou.dynamic.datasource.toolkit.DynamicDataSourceContextHolderDynamicDataSourceContextHolder使用ThreadLocal存储当前线程的数据源名。

public final class DynamicDataSourceContextHolder {
  /**
   * 为什么要用链表存储(准确的是栈)
   * 为了支持嵌套切换,如ABC三个service都是不同的数据源
   * 其中A的某个业务要调B的方法,B的方法需要调用C的方法。一级一级调用切换,形成了链。
   * 传统的只设置当前线程的方式不能满足此业务需求,必须模拟栈,后进先出。
   */
  @SuppressWarnings("unchecked")
  private static final ThreadLocal<Deque<String>> LOOKUP_KEY_HOLDER = new ThreadLocal() {
    @Override
    protected Object initialValue() {
      return new ArrayDeque();
    }
  };
  private DynamicDataSourceContextHolder() {
  }
  /**
   * 获得当前线程数据源
   * @return 数据源名称
   */
  public static String peek() {
    return LOOKUP_KEY_HOLDER.get().peek();
  }
  /**
   * 设置当前线程数据源
   * 如非必要不要手动调用,调用后确保最终清除
   * @param ds 数据源名称
   */
  public static void push(String ds) {
    LOOKUP_KEY_HOLDER.get().push(StringUtils.isEmpty(ds) ? "" : ds);
  }
  /**
   * 清空当前线程数据源
   * 如果当前线程是连续切换数据源 只会移除掉当前线程的数据源名称
   */
  public static void poll() {
    Deque<String> deque = LOOKUP_KEY_HOLDER.get();
    deque.poll();
    if (deque.isEmpty()) {
      LOOKUP_KEY_HOLDER.remove();
    }
  }
  /**
   * 强制清空本地线程
   * 防止内存泄漏,如手动调用了push可调用此方法确保清除
   */
  public static void clear() {
    LOOKUP_KEY_HOLDER.remove();
  }
}

进行数据操作时,会调用org.springframework.jdbc.datasource.getConnection()方法;getConnection()方法最终调用了

com.baomidou.dynamic.datasource.AbstractRoutingDataSourcegetConnection()方法;

  @Override
  public Connection getConnection() throws SQLException {
    return determineDataSource().getConnection();
  }

determineDataSource()由子类com.baomidou.dynamic.datasource.DynamicRoutingDataSource实现,可以看到DynamicRoutingDataSource从DynamicDataSourceContextHolder获取数据源名称,这个在之前拦截器处理存进ThreadLocal中,如果有数据源名称则从dataSourceMap中获取,没有则获取默认的primary数据源。

public DataSource determineDataSource() {
    return getDataSource(DynamicDataSourceContextHolder.peek());
}
public DataSource getDataSource(String ds) {
    if (StringUtils.isEmpty(ds)) {
        return determinePrimaryDataSource();
    } else if (!groupDataSources.isEmpty() && groupDataSources.containsKey(ds)) {
        log.debug("dynamic-datasource switch to the datasource named [{}]", ds);
        return groupDataSources.get(ds).determineDataSource();
    } else if (dataSourceMap.containsKey(ds)) {
        log.debug("dynamic-datasource switch to the datasource named [{}]", ds);
        return dataSourceMap.get(ds);
    }
    if (strict) {
        throw new RuntimeException("dynamic-datasource could not find a datasource named" + ds);
    }
    return determinePrimaryDataSource();
}
private DataSource determinePrimaryDataSource() {
    log.debug("dynamic-datasource switch to the primary datasource");
    return groupDataSources.containsKey(primary) ? groupDataSources.get(primary)
        .determineDataSource() : dataSourceMap.get(primary);
}

此时的数据源已经切换成了我们需要的数据源。

  1. 数据操作完成后,方法返回第二步中的拦截器,执行DynamicDataSourceContextHolder.poll();清除掉此次的数据源,避免影响后续数据操作。

附上动态数据源相关配置

spring:
  application:
    name: 
  datasource:
    dynamic:
      primary: dataSource1
      datasource:
        dataSource1:
          type: com.alibaba.druid.pool.DruidDataSource
          driverClassName: com.microsoft.sqlserver.jdbc.SQLServerDriver
          url: jdbc:sqlserver://localhost:1433;database=dataSource1
          username: 
          password: 
        dataSource2:
          type: com.alibaba.druid.pool.DruidDataSource
          driverClassName: com.microsoft.sqlserver.jdbc.SQLServerDriver
          url: jdbc:sqlserver://localhost:1433;instanceName=sqlserver2017;DatabaseName=dataSource2
          username: 
          password: 

pom.xml

<dependency>
    <groupId>com.baomidou</groupId>
    <artifactId>dynamic-datasource-spring-boot-starter</artifactId>
    <version>2.5.6</version>
</dependency>

相应类

@Service
//@DS("dataSource2") 放在类上就是类下所有方法都使用这个数据源。
public class XXXServiceImpl extends BaseServiceImpl<XXXMapper, XXXBean> implements XXXService {
    @DS("dataSource1")
    public void selectDataFromSource1() {
       // do somethinng;
    }
    @DS("dataSource2")
    public void selectDataFromSource1() {
       // do somethinng;
    }
}

**注意:**不可在事务中切换数据库,保证事务需要方法使用同一连接,使用@DS(dataSource1)方法调用@DS(dataSource2)无法切换连接,会导致方法报错。

2 不可在事务中切换数据库分析解决

现在我们先来看一下,是怎么解决问题的。

添加@DS(“quartz”)注解只用支持多数据源切换,value是你配置文件里面datasource数据源的名称即可。

@DS("quartz")
@Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = Exception.class)
public interface JobInfoService extends IService<JobInfo> {
}

相关的业务代码如下,简单列举 JobController 中的createJob方法(这里吐槽一下,代码很low,当前版本仅为了快速实现功能)

@RestController
@RequestMapping("job")
@Slf4j
public class JobController {
    @Autowired
    private final JobService jobService;
    @PostMapping("add")
    @Transactional(rollbackFor = Exception.class)
    public JsonResult createJob(@RequestBody JobDto dto) {
      jobService...//同样的事务数据源错误
    }
}

到这里就可以实现,在保证事务的同时解决多数据源切换的问题了。

首先,在JobController 中的createJob方法上加 @Transactional(rollbackFor = Exception.class),默认事务的传播机制是,PROPAGATION_REQUIRED ,可以不指定。

然后,在JobInfoServic 类上,添加 @Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = Exception.class) ,指定事务的传播机制是,Propagation.REQUIRES_NEW。

至此,冲突解决!


3 原因解析

原本的一个事务拆分成两个事务。只在JobController 中的createJob方法加事务,你会发现在切面里看数据源切换了,但事务内的数据源依然是旧的,这样就会报出XXX表找不到的问题。


1.因为spring在开启事务的同时,会去数据库连接池拿数据库连接。如果仅在JobController 中的createJob方法上添加@Transactional,那么,TransactionInterceptor 会使用 Spring DataSourceTransactionManager 创建事务,并将事务信息(获取数据源connection连接,此时获取到的数据源是默认配置的base数据源信息)连接信息,通过 ThreadLocal 绑定在当前线程。


2.此时当前线程事务绑定的连接信息是base数据源,当我们在内层JobInfoServic使用@DS切换数据源,并没有重新开启新事务,没有改变当前线程事务的连接信息,仅仅是做了一次拦截,改变了DataSourceHolder的栈顶dataSource,对于整个事务的连接是没有影响的,所以会产生数据源没有切换的问题。


3.所以我这里的解决办法是,将保证createJob操作数据完整性的事务,拆解成两个事务,在JobInfoServic 类上,除了添加切换数据源的注解@DS(“quartz”),再添加@Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = Exception.class),新建开一个事务,获取新数据源connection连接。


相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
目录
相关文章
|
1月前
Mybatis+mysql动态分页查询数据案例——测试类HouseDaoMybatisImplTest)
Mybatis+mysql动态分页查询数据案例——测试类HouseDaoMybatisImplTest)
22 1
|
1月前
|
Java 关系型数据库 数据库连接
Mybatis+MySQL动态分页查询数据经典案例(含代码以及测试)
Mybatis+MySQL动态分页查询数据经典案例(含代码以及测试)
30 1
|
1月前
Mybatis+mysql动态分页查询数据案例——条件类(HouseCondition)
Mybatis+mysql动态分页查询数据案例——条件类(HouseCondition)
16 1
|
1月前
Mybatis+mysql动态分页查询数据案例——分页工具类(Page.java)
Mybatis+mysql动态分页查询数据案例——分页工具类(Page.java)
24 1
|
2月前
|
Java
SpringBoot2+Mybatis两个数据源实现 (二)
SpringBoot2+Mybatis两个数据源实现 (二)
|
2月前
SpringMVC+Mybatis两个数据源实现(二)
SpringMVC+Mybatis两个数据源实现(二)
|
2月前
SpringMVC+Mybatis两个数据源实现(一)
SpringMVC+Mybatis两个数据源实现(一)
|
1月前
Mybatis+mysql动态分页查询数据案例——房屋信息的实现类(HouseDaoMybatisImpl)
Mybatis+mysql动态分页查询数据案例——房屋信息的实现类(HouseDaoMybatisImpl)
22 2
|
1月前
Mybatis+mysql动态分页查询数据案例——工具类(MybatisUtil.java)
Mybatis+mysql动态分页查询数据案例——工具类(MybatisUtil.java)
16 1
|
18天前
|
SQL Java 数据库连接
深入源码:解密MyBatis数据源设计的精妙机制
深入源码:解密MyBatis数据源设计的精妙机制
30 1
深入源码:解密MyBatis数据源设计的精妙机制