基于多数据源零代码同时生成多个数据库CRUD增删改查RESTful API接口——MySql,PostgreSql,Oracle,Microsoft SQL Server

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS SQL Server Serverless,2-4RCU 50GB 3个月
推荐场景:
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
简介: 利用spring boot多数据源功能,可以同时支持不同类型数据库mysql,oracle,postsql,sql server等,以及相同类型数据库不同的schema。零代码同时生成不同类型数据库增删改查RESTful api,且支持同一接口中跨库数据访问二次开发。在同一个Java程序中,通过多数据源功能,不需要一行代码,我们就可以得到不同数据库的基本crud功能,包括API和UI。

多数据源

回顾

通过前面文章的介绍,目前已经支持主流数据库,包括MySql,PostgreSql,Oracle,Microsoft SQL Server等,通过配置零代码实现了CRUD增删改查RESTful API。采用抽象工厂设计模式,可以无缝切换不同类型的数据库。
但是如果需要同时支持不同类型的数据库,如何通过配置进行管理呢?这时候引入多数据源功能就很有必要了。

简介

利用spring boot多数据源功能,可以同时支持不同类型数据库mysql,oracle,postsql,sql server等,以及相同类型数据库不同的schema。零代码同时生成不同类型数据库增删改查RESTful api,且支持同一接口中跨库数据访问二次开发。

UI界面

配置一个数据源,多个从数据源,每一个数据源相互独立配置和访问。

multiDatasource

核心原理

配置数据库连接串

配置application.properties,spring.datasource为默认主数据源,spring.datasource.hikari.data-sources[]数组为从数据源

#primary
spring.datasource.driverClassName=com.mysql.cj.jdbc.Driver
spring.datasource.url=jdbc:mysql://localhost:3306/crudapi?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true
spring.datasource.username=root
spring.datasource.password=root

#postgresql
spring.datasource.hikari.data-sources[0].postgresql.driverClassName=org.postgresql.Driver
spring.datasource.hikari.data-sources[0].postgresql.url=jdbc:postgresql://localhost:5432/crudapi
spring.datasource.hikari.data-sources[0].postgresql.username=postgres
spring.datasource.hikari.data-sources[0].postgresql.password=postgres

#sqlserver
spring.datasource.hikari.data-sources[1].sqlserver.driverClassName=com.microsoft.sqlserver.jdbc.SQLServerDriver
spring.datasource.hikari.data-sources[1].sqlserver.url=jdbc:sqlserver://localhost:1433;SelectMethod=cursor;DatabaseName=crudapi
spring.datasource.hikari.data-sources[1].sqlserver.username=sa
spring.datasource.hikari.data-sources[1].sqlserver.password=Mssql1433

#oracle
spring.datasource.hikari.data-sources[2].oracle.url=jdbc:oracle:thin:@//localhost:1521/XEPDB1
spring.datasource.hikari.data-sources[2].oracle.driverClassName=oracle.jdbc.OracleDriver
spring.datasource.hikari.data-sources[2].oracle.username=crudapi
spring.datasource.hikari.data-sources[2].oracle.password=crudapi

#mysql
spring.datasource.hikari.data-sources[3].mysql.driverClassName=com.mysql.cj.jdbc.Driver
spring.datasource.hikari.data-sources[3].mysql.url=jdbc:mysql://localhost:3306/crudapi2?serverTimezone=Asia/Shanghai&useUnicode=true&characterEncoding=utf8&useSSL=false&allowPublicKeyRetrieval=true
spring.datasource.hikari.data-sources[3].mysql.username=root
spring.datasource.hikari.data-sources[3].mysql.password=root

动态数据源——DynamicDataSource

Spring boot提供了抽象类AbstractRoutingDataSource,复写接口determineCurrentLookupKey, 可以在执行查询之前,设置使用的数据源,从而实现动态切换数据源。

public class DynamicDataSource extends AbstractRoutingDataSource {
  @Override
  protected Object determineCurrentLookupKey() {
    return DataSourceContextHolder.getDataSource();
  }
}

数据源Context——DataSourceContextHolder

默认主数据源名称为datasource,从数据源名称保存在ThreadLocal变量CONTEXT_HOLDER里面,ThreadLocal叫做线程变量, 意思是ThreadLocal中填充的变量属于当前线程, 该变量对其他线程而言是隔离的, 也就是说该变量是当前线程独有的变量。

在RestController里面根据需要提前设置好当前需要访问的数据源key,即调用setDataSource方法,访问数据的时候调用getDataSource方法获取到数据源key,最终传递给DynamicDataSource。

public class DataSourceContextHolder {
    //默认数据源primary=dataSource
    private static final String DEFAULT_DATASOURCE = "dataSource";

    //保存线程连接的数据源
    private static final ThreadLocal<String> CONTEXT_HOLDER = new ThreadLocal<>();

    private static final ThreadLocal<String> HEADER_HOLDER = new ThreadLocal<>();

    public static String getDataSource() {
      String dataSoure = CONTEXT_HOLDER.get();
        if (dataSoure != null) {
          return dataSoure;
        } else {
          return DEFAULT_DATASOURCE;
        }
    }

    public static void setDataSource(String key) {
        if ("primary".equals(key)) {
          key = DEFAULT_DATASOURCE;
        }
        CONTEXT_HOLDER.set(key);
    }

    public static void cleanDataSource() {
        CONTEXT_HOLDER.remove();
    }

    public static void setHeaderDataSource(String key) {
      HEADER_HOLDER.set(key);
    }

    public static String getHeaderDataSource() {
      String dataSoure = HEADER_HOLDER.get();
        if (dataSoure != null) {
          return dataSoure;
        } else {
          return DEFAULT_DATASOURCE;
        }
    }
}

动态数据库提供者——DynamicDataSourceProvider

程序启动时候,读取配置文件application.properties中数据源信息,构建DataSource并通过接口setTargetDataSources设置从数据源。数据源的key和DataSourceContextHolder中key一一对应

@Component
@EnableConfigurationProperties(DataSourceProperties.class)
@ConfigurationProperties(prefix = "spring.datasource.hikari")
public class DynamicDataSourceProvider implements DataSourceProvider {
  @Autowired
  private DynamicDataSource dynamicDataSource;

  private List<Map<String, DataSourceProperties>> dataSources;

  private Map<Object,Object> targetDataSourcesMap;

  @Resource
  private DataSourceProperties dataSourceProperties;

  private DataSource buildDataSource(DataSourceProperties prop) {
        DataSourceBuilder<?> builder = DataSourceBuilder.create();
        builder.driverClassName(prop.getDriverClassName());
        builder.username(prop.getUsername());
        builder.password(prop.getPassword());
        builder.url(prop.getUrl());
        return builder.build();
    }

    @Override
    public List<DataSource> provide() {
      Map<Object,Object> targetDataSourcesMap = new HashMap<>();
      List<DataSource> res = new ArrayList<>();
      if (dataSources != null) {
            dataSources.forEach(map -> {
                Set<String> keys = map.keySet();
                keys.forEach(key -> {
                    DataSourceProperties properties = map.get(key);
                    DataSource dataSource = buildDataSource(properties);
                    targetDataSourcesMap.put(key, dataSource);

                });
            });

            //更新dynamicDataSource
            this.targetDataSourcesMap = targetDataSourcesMap;
            dynamicDataSource.setTargetDataSources(targetDataSourcesMap);
            dynamicDataSource.afterPropertiesSet();
      }

        return res;
    }

    @PostConstruct
    public void init() {
        provide();
    }

    public List<Map<String, DataSourceProperties>> getDataSources() {
        return dataSources;
    }

    public void setDataSources(List<Map<String, DataSourceProperties>> dataSources) {
        this.dataSources = dataSources;
    }

    public List<Map<String, String>> getDataSourceNames() {
      List<Map<String, String>> dataSourceNames = new ArrayList<Map<String, String>>();
      Map<String, String> dataSourceNameMap = new HashMap<String, String>();
      dataSourceNameMap.put("name", "primary");
      dataSourceNameMap.put("caption", "主数据源");
      dataSourceNameMap.put("database", parseDatabaseName(dataSourceProperties));
      dataSourceNames.add(dataSourceNameMap);

      if (dataSources != null) {
        dataSources.forEach(map -> {
          Set<Map.Entry<String, DataSourceProperties>> entrySet = map.entrySet();
              for (Map.Entry<String, DataSourceProperties> entry : entrySet) {
                Map<String, String> t = new HashMap<String, String>();
                t.put("name", entry.getKey());
                t.put("caption", entry.getKey());
                DataSourceProperties p = entry.getValue();
                t.put("database", parseDatabaseName(p));

                dataSourceNames.add(t);
              }
          });
      }

        return dataSourceNames;
    }

    public String getDatabaseName() {
      List<Map<String, String>> dataSourceNames = this.getDataSourceNames();
      String dataSource = DataSourceContextHolder.getDataSource();

      Optional<Map<String, String>> op = dataSourceNames.stream()
      .filter(t -> t.get("name").toString().equals(dataSource))
      .findFirst();
      if (op.isPresent()) {
        return op.get().get("database");
      } else {
        return dataSourceNames.stream()
        .filter(t -> t.get("name").toString().equals("primary"))
        .findFirst().get().get("database");
      }
    }


    private String parseDatabaseName(DataSourceProperties p) {
      String url = p.getUrl();
      String databaseName = "";
      if (url.toLowerCase().indexOf("databasename") >= 0) {
        String[] urlArr = p.getUrl().split(";");
        for (String u : urlArr) {
          if (u.toLowerCase().indexOf("databasename") >= 0) {
            String[] uArr = u.split("=");
            databaseName = uArr[uArr.length - 1];
          }
        }
      } else {
        String[] urlArr = p.getUrl().split("\\?")[0].split("/");
        databaseName = urlArr[urlArr.length - 1];
      }

      return databaseName;
    }

  public Map<Object,Object> getTargetDataSourcesMap() {
    return targetDataSourcesMap;
  }
}

动态数据源配置——DynamicDataSourceConfig

首先取消系统自动数据库配置,设置exclude = { DataSourceAutoConfiguration.class }

@SpringBootApplication(exclude = { DataSourceAutoConfiguration.class })
public class ServiceApplication {
    public static void main(String[] args) {
        SpringApplication.run(ServiceApplication.class, args);
    }
}

然后自定义Bean,分别定义主数据源dataSource和动态数据源dynamicDataSource,并且注入到JdbcTemplate,NamedParameterJdbcTemplate,和DataSourceTransactionManager中,在访问数据时候自动识别对应的数据源。

//数据源配置类
@Configuration
@EnableConfigurationProperties(DataSourceProperties.class)
public class DynamicDataSourceConfig {
    private static final Logger log = LoggerFactory.getLogger(DynamicDataSourceConfig.class);

    @Resource
    private DataSourceProperties dataSourceProperties;

    @Bean(name = "dataSource")
    public DataSource getDataSource(){
        DataSourceBuilder<?> builder = DataSourceBuilder.create();
        builder.driverClassName(dataSourceProperties.getDriverClassName());
        builder.username(dataSourceProperties.getUsername());
        builder.password(dataSourceProperties.getPassword());
        builder.url(dataSourceProperties.getUrl());
        return builder.build();
    }

    @Primary //当相同类型的实现类存在时,选择该注解标记的类
    @Bean("dynamicDataSource")
    public DynamicDataSource dynamicDataSource(){
        DynamicDataSource dynamicDataSource = new DynamicDataSource();
        //默认数据源
        dynamicDataSource.setDefaultTargetDataSource(getDataSource());

        Map<Object,Object> targetDataSourcesMap = new HashMap<>();
        dynamicDataSource.setTargetDataSources(targetDataSourcesMap);
        return dynamicDataSource;
    }

    //事务管理器DataSourceTransactionManager构造参数需要DataSource
    //这里可以看到我们给的是dynamicDS这个bean
    @Bean
    public PlatformTransactionManager transactionManager(){
        return new DataSourceTransactionManager(dynamicDataSource());
    }

    //这里的JdbcTemplate构造参数同样需要一个DataSource,为了实现数据源切换查询,
    //这里使用的也是dynamicDS这个bean
    @Bean(name = "jdbcTemplate")
    public JdbcTemplate getJdbc(){
        return new JdbcTemplate(dynamicDataSource());
    }

    //这里的JdbcTemplate构造参数同样需要一个DataSource,为了实现数据源切换查询,
    //这里使用的也是dynamicDS这个bean
    @Bean(name = "namedParameterJdbcTemplate")
    public NamedParameterJdbcTemplate getNamedJdbc(){
        return new NamedParameterJdbcTemplate(dynamicDataSource());
    }
}

请求头过滤器——HeadFilter

拦截所有http请求,从header里面解析出当前需要访问的数据源,然后设置到线程变量HEADER_HOLDER中。

@WebFilter(filterName = "headFilter", urlPatterns = "/*")
public class HeadFilter extends OncePerRequestFilter {
    private static final Logger log = LoggerFactory.getLogger(HeadFilter.class);

    @Override
    protected void doFilterInternal(HttpServletRequest request, HttpServletResponse response, FilterChain filterChain) throws ServletException, IOException {
      if (!"/api/auth/login".equals(request.getRequestURI())
        && !"/api/auth/jwt/login".equals(request.getRequestURI())
        && !"/api/auth/logout".equals(request.getRequestURI())
        && !"/api/metadata/dataSources".equals(request.getRequestURI())) {
        String dataSource = request.getParameter("dataSource");
          HeadRequestWrapper headRequestWrapper = new HeadRequestWrapper(request);
          if (StringUtils.isEmpty(dataSource)) {
            dataSource = headRequestWrapper.getHeader("dataSource");
                if (StringUtils.isEmpty(dataSource)) {
                  dataSource = "primary";
                  headRequestWrapper.addHead("dataSource", dataSource);
                }
            }

            DataSourceContextHolder.setHeaderDataSource(dataSource);

            // finish
            filterChain.doFilter(headRequestWrapper, response);
      } else {
        filterChain.doFilter(request, response);
      }
    }
}

实际应用

前面动态数据源配置准备工作已经完成,最后我们定义切面DataSourceAspect

@Aspect
public class DataSourceAspect {
  private static final Logger log = LoggerFactory.getLogger(DataSourceAspect.class);

  @Pointcut("within(cn.crudapi.api.controller..*)")
  public void applicationPackagePointcut() {
  }

  @Around("applicationPackagePointcut()")
  public Object dataSourceAround(ProceedingJoinPoint joinPoint) throws Throwable {
    String dataSource = DataSourceContextHolder.getHeaderDataSource();
    DataSourceContextHolder.setDataSource(dataSource);
    try {
      return joinPoint.proceed();
    } finally {
      DataSourceContextHolder.cleanDataSource();
    }
  }
}

在API对应的controller中拦截,获取当前的请求头数据源key,然后执行joinPoint.proceed(),最后再恢复数据源。当然在service内部还可以多次切换数据源,只需要调用DataSourceContextHolder.setDataSource()即可。比如可以从mysql数据库读取数据,然后保存到oracle数据库中。

前端集成

在请求头里面设置dataSource为对应的数据源,比如primary表示主数据源,postgresql表示从数据源postgresql,具体可以名称和application.properties配置保持一致。

首先调用的地方配置dataSource

const table = {
  list: function(dataSource, tableName, page, rowsPerPage, search, query, filter) {
    return axiosInstance.get("/api/business/" + tableName,
      {
        params: {
          offset: (page - 1) * rowsPerPage,
          limit: rowsPerPage,
          search: search,
          ...query,
          filter: filter
        },
        dataSource: dataSource
      }
    );
  },
}

然后在axios里面统一拦截配置

axiosInstance.interceptors.request.use(
  function(config) {
    if (config.dataSource) {
      console.log("config.dataSource = " + config.dataSource);
      config.headers["dataSource"] = config.dataSource;
    }

    return config;
  },
  function(error) {
    return Promise.reject(error);
  }
);

效果如下
datasource

小结

本文主要介绍了多数据源功能,在同一个Java程序中,通过多数据源功能,不需要一行代码,我们就可以得到不同数据库的基本crud功能,包括API和UI。

相关实践学习
如何在云端创建MySQL数据库
开始实验后,系统会自动创建一台自建MySQL的 源数据库 ECS 实例和一台 目标数据库 RDS。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
3天前
|
JSON API 数据格式
淘宝 / 天猫官方商品 / 订单订单 API 接口丨商品上传接口对接步骤
要对接淘宝/天猫官方商品或订单API,需先注册淘宝开放平台账号,创建应用获取App Key和App Secret。之后,详细阅读API文档,了解接口功能及权限要求,编写认证、构建请求、发送请求和处理响应的代码。最后,在沙箱环境中测试与调试,确保API调用的正确性和稳定性。
|
6天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
|
7天前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
15天前
|
供应链 数据挖掘 API
电商API接口介绍——sku接口概述
商品SKU(Stock Keeping Unit)接口是电商API接口中的一种,专门用于获取商品的SKU信息。SKU是库存量单位,用于区分同一商品的不同规格、颜色、尺寸等属性。通过商品SKU接口,开发者可以获取商品的SKU列表、SKU属性、库存数量等详细信息。
|
17天前
|
JSON API 数据格式
店铺所有商品列表接口json数据格式示例(API接口)
当然,以下是一个示例的JSON数据格式,用于表示一个店铺所有商品列表的API接口响应
|
21天前
|
存储 数据挖掘 数据库
数据库数据恢复—SQLserver数据库ndf文件大小变为0KB的数据恢复案例
一个运行在存储上的SQLServer数据库,有1000多个文件,大小几十TB。数据库每10天生成一个NDF文件,每个NDF几百GB大小。数据库包含两个LDF文件。 存储损坏,数据库不可用。管理员试图恢复数据库,发现有数个ndf文件大小变为0KB。 虽然NDF文件大小变为0KB,但是NDF文件在磁盘上还可能存在。可以尝试通过扫描&拼接数据库碎片来恢复NDF文件,然后修复数据库。
|
27天前
|
编解码 监控 API
直播源怎么调用api接口
调用直播源的API接口涉及开通服务、添加域名、获取API密钥、调用API接口、生成推流和拉流地址、配置直播源、开始直播、监控管理及停止直播等步骤。不同云服务平台的具体操作略有差异,但整体流程简单易懂。
|
7天前
|
JSON API 数据安全/隐私保护
拍立淘按图搜索API接口返回数据的JSON格式示例
拍立淘按图搜索API接口允许用户通过上传图片来搜索相似的商品,该接口返回的通常是一个JSON格式的响应,其中包含了与上传图片相似的商品信息。以下是一个基于淘宝平台的拍立淘按图搜索API接口返回数据的JSON格式示例,同时提供对其关键字段的解释
|
1月前
|
人工智能 自然语言处理 PyTorch
Text2Video Huggingface Pipeline 文生视频接口和文生视频论文API
文生视频是AI领域热点,很多文生视频的大模型都是基于 Huggingface的 diffusers的text to video的pipeline来开发。国内外也有非常多的优秀产品如Runway AI、Pika AI 、可灵King AI、通义千问、智谱的文生视频模型等等。为了方便调用,这篇博客也尝试了使用 PyPI的text2video的python库的Wrapper类进行调用,下面会给大家介绍一下Huggingface Text to Video Pipeline的调用方式以及使用通用的text2video的python库调用方式。
|
17天前
|
JSON 前端开发 JavaScript
API接口商品详情接口数据解析
商品详情接口通常用于提供特定商品的详细信息,这些信息比商品列表接口中的信息更加详细和全面。以下是一个示例的JSON数据格式,用于表示一个商品详情API接口的响应。这个示例假定API返回一个包含商品详细信息的对象。

推荐镜像

更多