3种方式实现多数据源控制/切换、实现读写分离;演示借助AbstractRoutingDataSource实现多数据源的动态切换代码【享学Spring】(上)

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS PostgreSQL,高可用系列 2核4GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: 3种方式实现多数据源控制/切换、实现读写分离;演示借助AbstractRoutingDataSource实现多数据源的动态切换代码【享学Spring】(上)

前言


什么时候一个Java工程里需要同时控制(连接)多个数据源呢?我认为主要有如下两种情况:


  1. 业务需要。比如项目里要实现两个DB的双写/数据迁移,或者微服务边界划分不清使得一个工程直连了多个DB
  2. 读写分离。但凡稍微大型一点的网站,为了提升DB的吞吐量和性能以及高可用性,数据库一般都会采用集群部署(1个Master+N个Slave模式)。


作为技术宅的我们应该知道,不管是什么业务原因导致我们同一个工程内需要控制多个数据源,我们心里应该明确:在技术实施层面上都是一样的。

下面为了方便分析,以典型的读写分离为例作为讲解~


读写分离:主库master可读可写,从库slave是readOnly的且可以有多个。


为何数据库需要读写分离?


随着网站的业务不断扩展,数据不断增加,用户越来越多,数据库的压力也就越来越大,采用传统的方式,比如:提升数据库机器配置或者SQL的优化基本已达不到要求,这个时候可以横向扩展:采用读写分离的策略来改变现状。


我们现在应用都以分布式形式部署,所以99%情况下的性能瓶颈都发生在DB身上而非应用本身(因为应用都会负载均衡),这也是我们大力反对连表查询、反对写复杂的SQL语句的最根本原因。


采用读写分离技术的目标:有效减轻Master库的压力,又可以把用户查询数据的请求分发到不同的Slave库(多个Slave之间也可实现负载均衡),从而保证整个系统的健壮性。

实现多数据源管理的3种方式


从单一数据源到多数据源是有一个演进过程的:

image.png


单数据源的场景,一般的Web项目工程这样配置进行处理,就已经比较能够满足我们的业务需求(此处不考虑请求压力大、需要读写分离的情况)


image.png


多数据源多SessionFactory这样的场景。这其实就是在Dao层以编程的方式实现的对多数据源的控制。

到这里业务层面已经有多数据源的需求了,如上图我把它定位 多数据源**静态**切换。说白了:就是定义两个数据源,想用哪个用哪个呗~


说明:因为我们控制是多数据源DataSource,而并不用关心到底是用哪种方式去使用,比如源生JDBC、MyBatis、Hibernate等上层的使用方法上都是雷同的。


本文以JdbcTemplate操作数据源为例,场景以读写分离为例(其它case仿照着实施就ok了)


环境准备


准备的环境本着:旨在为了说明问题,一切从简的原则搭建


jdbc.properties属性配置文件如下:


## 主库master配置
datasource.drivername=com.mysql.jdbc.Driver
datasource.username=root
datasource.password=root
datasource.url=jdbc:mysql://localhost:3306/jedi
## 从库slave配置
datasource.slave.drivername=com.mysql.jdbc.Driver
datasource.slave.username=root
datasource.slave.password=root
datasource.slave.url=jdbc:mysql://localhost:3306/jedi_slave


此处两个库jedi和jedi_slave分别模拟两个数据源。两个库内容一模一样,内部都只有一张表user表,表内只有一条记录:


image.png


方式一:硬编码(静态切换)


最原始的方式也就是这种方式,静态控制多数据源。在代码层面直接控制(也就是在在编写代码时:就指定好要去操作哪个DB)。这种方式我把它叫做“静态切换”。给出简单示例如下:

JdbcConfig.java配置文件如下:


@EnableTransactionManagement
@Configuration
@PropertySource(value = "classpath:jdbc.properties", ignoreResourceNotFound = false, encoding = "UTF-8")
public class JdbcConfig implements TransactionManagementConfigurer {
    @Value("${datasource.username}")
    private String userName;
    @Value("${datasource.password}")
    private String password;
    @Value("${datasource.url}")
    private String url;
    // 从库配置
    @Value("${datasource.slave.username}")
    private String slaveUserName;
    @Value("${datasource.slave.password}")
    private String slavePassword;
    @Value("${datasource.slave.url}")
    private String slaveUrl;
    =====配置好两个数据源:
    @Primary
    @Bean
    public DataSource masterDataSource() {
        MysqlDataSource dataSource = new MysqlDataSource();
        dataSource.setUser(userName);
        dataSource.setPassword(password);
        dataSource.setURL(url);
        return dataSource;
    }
    @Bean
    public DataSource slaveDataSource() {
        MysqlDataSource dataSource = new MysqlDataSource();
        dataSource.setUser(slaveUserName);
        dataSource.setPassword(slavePassword);
        dataSource.setURL(slaveUrl);
        return dataSource;
    }
    // 手动配置好两个JdbcTemplate  分别用于操作
    @Primary
    @Bean
    public JdbcTemplate masterJdbcTemplate() {
        return new JdbcTemplate(masterDataSource());
    }
    @Bean
    public JdbcTemplate slaveJdbcTemplate() {
        return new JdbcTemplate(slaveDataSource());
    }
    // 事务管理器自己具体配置(如果是真的主从模式,从库可以不用事务管理器  只需要配置主库的即可)
    @Primary
    @Bean
    public PlatformTransactionManager transactionManager() {
        DataSourceTransactionManager dataSourceTransactionManager = new DataSourceTransactionManager(masterDataSource());
        dataSourceTransactionManager.setEnforceReadOnly(true); // 让事务管理器进行只读事务层面上的优化  建议开启
        return dataSourceTransactionManager;
    }
    // 指定注解使用的事务管理器
    @Override
    public PlatformTransactionManager annotationDrivenTransactionManager() {
        return transactionManager();
    }
}


如上配置,我们向容器内准备了两个JdbcTemplate,分别绑定着不同两个数据源。这样在代码中,我们想用哪个数据源的的链接connection执行sql时,使用对应的JdbcTemplate即可。它的优点就是配置简单、好理解,使用上也非常灵活


就是因为它过于灵活了,所以变得无法控制。这种方式有个最大的缺点:代码侵入性极强,它完全是用硬编码的方式实现的控制,不便于管理(比如我想统一在代码层面上做load balance就几乎不能实现了)


为了解决上面的缺点,下面就是要Spring的相关抽象隆重登场了:


Spring抽象的AbstractDataSource


上面方式其实单单只是借用了Spring的Bean来管理多数据源,严格意义上讲这和Spring对多数据源的抽象没毛关系。

下面介绍借助Spring对多数据源的抽象支持,来优雅的处理多数据源问题


首先看看AbstractDataSource本身:


// @since 07.05.2003   它是个抽象类:实现了DataSource一些无关紧要的方法… 
public abstract class AbstractDataSource implements DataSource {
  ... // 实现接口javax.sql.DataSource一些无关紧要的方法
}


它的继承图谱:


image.png


两个主要分支:和DriverManager/Driver有关的AbstractDriverBasedDataSource和数据源路由有关的AbstractRoutingDataSource


AbstractDriverBasedDataSource


正如类名所代表,这个抽象类的子类都是基于Driver/DriverManager来获取Connection对象的。


// @since 2.5.5   此抽象类出现得较晚  但是木有关系
public abstract class AbstractDriverBasedDataSource extends AbstractDataSource {
  // 需要准备url、username、password等参数  属于更偏底层的处理方式~~~
  @Nullable
  private String url;
  @Nullable
  private String username;
  @Nullable
  private String password;
  @Nullable
  private String catalog;
  @Nullable
  private String schema;
  @Nullable
  private Properties connectionProperties;
  ... // 省略所有的get/set方法
  // 此处getConnectionFromDriver方法是它的特色~~~
  @Override
  public Connection getConnection() throws SQLException {
    return getConnectionFromDriver(getUsername(), getPassword());
  }
  @Override
  public Connection getConnection(String username, String password) throws SQLException {
    return getConnectionFromDriver(username, password);
  }
  // 从Driver里获取到链接~~~~
  protected Connection getConnectionFromDriver(@Nullable String username, @Nullable String password) throws SQLException {
    Properties mergedProps = new Properties();
    Properties connProps = getConnectionProperties();
    // 可以看到  就连username  password其实都是可以放在Properties属性文件里的
    if (connProps != null) {
      mergedProps.putAll(connProps);
    }
    if (username != null) {
      mergedProps.setProperty("user", username);
    }
    if (password != null) {
      mergedProps.setProperty("password", password);
    }
    // 根据Properties属性文件 从Driver里获取链接   抽象方法,由子类去实现
    Connection con = getConnectionFromDriver(mergedProps);
    if (this.catalog != null) {
      con.setCatalog(this.catalog);
    }
    if (this.schema != null) {
      con.setSchema(this.schema);
    }
    return con;
  }
  // 待子类实现
  protected abstract Connection getConnectionFromDriver(Properties props) throws SQLException;
}


它没有实现太多内容,主要对userName、password等属性和Properties进行合并处理,最后提供抽象法方法getConnectionFromDriver交由子类去实现。


DriverManagerDataSource


和java.sql.DriverManager,通过它来获取到链接。


public class DriverManagerDataSource extends AbstractDriverBasedDataSource {
  ...
  // 指定驱动
  // 参考:java.sql.DriverManager#registerDriver(java.sql.Driver)
  public void setDriverClassName(String driverClassName) {
    ...
    Class.forName(driverClassNameToUse, true, ClassUtils.getDefaultClassLoader());
  }
  // 复写父类方法:从Driver里拿到链接
  // 本类使用的是从事务管理器里获取链接:DriverManager.getConnection(url, props);
  @Override
  protected Connection getConnectionFromDriver(Properties props) throws SQLException {
    String url = getUrl();
    return getConnectionFromDriverManager(url, props);
  }
  protected Connection getConnectionFromDriverManager(String url, Properties props) throws SQLException {
    return DriverManager.getConnection(url, props);
  }
}


关于DriverManager这个驱动管理器类,可能大部分新一代的程序员小伙伴感觉非常陌生了,因为这种底层API我们现在几乎都见不到了。

最初我们获取链接都是直接从DriverManager里来的,形如:


    public static void main(String[] args) throws Exception {
        Class.forName("com.mysql.jdbc.Driver");
        String username = "root";
        String password = "root";
        Connection connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/jedi", username, password);
        System.out.println(connection);
    }


这几句代码也就是JDBC非常经典(著名)的获取链接的**四大步骤**,由于现在直接这么使用的情况实在太少了太少了,所以很多小伙伴不熟悉也是情有可原(但我相信只要一提起都还是有点映象的吧)


SingleConnectionDataSource

它是DriverManagerDataSource的子类,并且还实现了SmartDataSource。它的特点是:能够保证每次调用getConnection(),获取都是相同的Connection。

所以它不能使用在多线程,是线程不安全的~~~


它的Connection是调用父类的,所以也是从DriverManager里来的

相关实践学习
每个IT人都想学的“Web应用上云经典架构”实战
本实验从Web应用上云这个最基本的、最普遍的需求出发,帮助IT从业者们通过“阿里云Web应用上云解决方案”,了解一个企业级Web应用上云的常见架构,了解如何构建一个高可用、可扩展的企业级应用架构。
MySQL数据库入门学习
本课程通过最流行的开源数据库MySQL带你了解数据库的世界。   相关的阿里云产品:云数据库RDS MySQL 版 阿里云关系型数据库RDS(Relational Database Service)是一种稳定可靠、可弹性伸缩的在线数据库服务,提供容灾、备份、恢复、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。 了解产品详情: https://www.aliyun.com/product/rds/mysql 
相关文章
|
2月前
|
安全 Java 应用服务中间件
Spring Boot + Java 21:内存减少 60%,启动速度提高 30% — 零代码
通过调整三个JVM和Spring Boot配置开关,无需重写代码即可显著优化Java应用性能:内存减少60%,启动速度提升30%。适用于所有在JVM上运行API的生产团队,低成本实现高效能。
276 3
|
1月前
|
人工智能 监控 Java
零代码改造 + 全链路追踪!Spring AI 最新可观测性详细解读
Spring AI Alibaba 通过集成 OpenTelemetry 实现可观测性,支持框架原生和无侵入探针两种方式。原生方案依赖 Micrometer 自动埋点,适用于快速接入;无侵入探针基于 LoongSuite 商业版,无需修改代码即可采集标准 OTLP 数据,解决了原生方案扩展性差、调用链易断链等问题。未来将开源无侵入探针方案,整合至 AgentScope Studio,并进一步增强多 Agent 场景下的观测能力。
1353 34
|
1月前
|
安全 Java 测试技术
《深入理解Spring》单元测试——高质量代码的守护神
Spring测试框架提供全面的单元与集成测试支持,通过`@SpringBootTest`、`@WebMvcTest`等注解实现分层测试,结合Mockito、Testcontainers和Jacoco,保障代码质量,提升开发效率与系统稳定性。
|
2月前
|
安全 IDE Java
Spring 的@FieldDefaults和@Data:Lombok 注解以实现更简洁的代码
本文介绍了如何在 Spring 应用程序中使用 Project Lombok 的 `@Data` 和 `@FieldDefaults` 注解来减少样板代码,提升代码可读性和可维护性,并探讨了其适用场景与限制。
133 0
Spring 的@FieldDefaults和@Data:Lombok 注解以实现更简洁的代码
|
3月前
|
人工智能 监控 安全
Spring AOP切面编程颠覆传统!3大核心注解+5种通知类型,让业务代码纯净如初
本文介绍了AOP(面向切面编程)的基本概念、优势及其在Spring Boot中的使用。AOP作为OOP的补充,通过将横切关注点(如日志、安全、事务等)与业务逻辑分离,实现代码解耦,提升模块化程度、可维护性和灵活性。文章详细讲解了Spring AOP的核心概念,包括切面、切点、通知等,并提供了在Spring Boot中实现AOP的具体步骤和代码示例。此外,还列举了AOP在日志记录、性能监控、事务管理和安全控制等场景中的实际应用。通过本文,开发者可以快速掌握AOP编程思想及其实践技巧。
|
4月前
|
安全 Java Nacos
0代码改动实现Spring应用数据库帐密自动轮转
Nacos作为国内被广泛使用的配置中心,已经成为应用侧的基础设施产品,近年来安全问题被更多关注,这是中国国内软件行业逐渐迈向成熟的标志,也是必经之路,Nacos提供配置加密存储-运行时轮转的核心安全能力,将在应用安全领域承担更多职责。
|
5月前
|
Java 调度 流计算
基于Java 17 + Spring Boot 3.2 + Flink 1.18的智慧实验室管理系统核心代码
这是一套基于Java 17、Spring Boot 3.2和Flink 1.18开发的智慧实验室管理系统核心代码。系统涵盖多协议设备接入(支持OPC UA、MQTT等12种工业协议)、实时异常检测(Flink流处理引擎实现设备状态监控)、强化学习调度(Q-Learning算法优化资源分配)、三维可视化(JavaFX与WebGL渲染实验室空间)、微服务架构(Spring Cloud构建分布式体系)及数据湖建设(Spark构建实验室数据仓库)。实际应用中,该系统显著提升了设备调度效率(响应时间从46分钟降至9秒)、设备利用率(从41%提升至89%),并大幅减少实验准备时间和维护成本。
334 0
|
4月前
|
Java Spring 容器
SpringBoot自动配置的原理是什么?
Spring Boot自动配置核心在于@EnableAutoConfiguration注解,它通过@Import导入配置选择器,加载META-INF/spring.factories中定义的自动配置类。这些类根据@Conditional系列注解判断是否生效。但Spring Boot 3.0后已弃用spring.factories,改用新格式的.imports文件进行配置。
873 0
|
1月前
|
JavaScript Java Maven
【SpringBoot(二)】带你认识Yaml配置文件类型、SpringMVC的资源访问路径 和 静态资源配置的原理!
SpringBoot专栏第二章,从本章开始正式进入SpringBoot的WEB阶段开发,本章先带你认识yaml配置文件和资源的路径配置原理,以方便在后面的文章中打下基础
269 3
下一篇
oss云网关配置