mybatis连接多源数据库

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: mybatis连接多源数据库

公众号merlinsea


  • 背景
  • 在工作中,偶尔会遇到需要配置多源数据库的场景,通常的建议是一个微服务配置一个数据库的源,这样这个默认的数据源就是主数据源。但如果有时候需要在一个微服务中连接多个数据源,可以做如下的配置实现。
  • 这里我们以两个数据源为例介绍如何进行连接
  • pom文件中引入不同数据源依赖
  • 对于第三方的数据源,数据库的设计厂商会提供连接数据库的驱动jar包,只需要我们手动将厂商提供的jar包通过mvn install:install-file命令将其打包到本地仓库中即可。


<!--手动将厂商提供的jar打包进本地仓库后引入-->
        <dependency>
            <groupId>NQjc.jar</groupId>
            <artifactId>netsuite</artifactId>
            <version>1.0</version>
        </dependency>
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>


  • application.yml文件配置

server:
  port: 7000
spring:
  application:
    name: financial-bi-service
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    druid:
      # 初始连接数
      initialSize: 5
      # 最小连接池数量
      minIdle: 10
      # 最大连接池数量
      maxActive: 20
      # 配置获取连接等待超时的时间
      maxWait: 60000
      # 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒
      timeBetweenEvictionRunsMillis: 60000
      # 配置一个连接在池中最小生存的时间,单位是毫秒
      minEvictableIdleTimeMillis: 300000
      # 配置一个连接在池中最大生存的时间,单位是毫秒
      maxEvictableIdleTimeMillis: 900000
      #ns数据库
      ns:
        #  厂商提供jar包中的连接数据库的驱动类
        driver-class-name: com.netsuite.jdbc.openaccess.OpenAccessDriver
        # 厂商提供的数据库地址url
        jdbc-url: jdbc:ns://5810519.connect.api.netsuite.com:1708;ServerDataSource=NetSuite.com;encrypted=1;NegotiateSSLClose=false
        username: usernamexxxyyy
        password: passwordxxyy
      #微服务数据库
      master:
        driver-class-name: com.mysql.cj.jdbc.Driver
        username: root
        password: password123
        jdbc-url: jdbc:mysql://172.10.10.119:3306/dbname?serverTimezone=GMT%2B8&useUnicode=true&characterEncoding=utf8
# 控制台输出sql、下划线转驼峰
mybatis:
  configuration:
    log-impl: org.apache.ibatis.logging.stdout.StdOutImpl
    map-underscore-to-camel-case: true


  • 在config包下完成两个数据源配置类的创建并交由spring进行管理【核心】
  • 注意:在配置的过程中必须有一个配置类叫MasterDataSourceConfig,因为在spring启动的时候会自动加载这个Master的配置类

/**
 * 配置mysql的数据源
 */
@Configuration
@MapperScan(basePackages = MasterDataSourceConfig.PACKAGE, sqlSessionFactoryRef = "masterSqlSessionFactory")
public class MasterDataSourceConfig {
    // mysql数据源的mapper接口的路径
    static final String PACKAGE = "com.company.dao.master";
    // mysql数据源的mapper.xml文件路径
    static final String MAPPER_LOCATION = "classpath:mapping/master/*.xml";
    //从配置文件的指定标签中读取数据源信息并创建DataSource
    @Bean(name = "masterDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.druid.master")
    @Primary //声明是主数据源
    public DataSource masterDataSource() {
        return DataSourceBuilder.create().build();
    }
    //数据源事务设置
    @Bean(name = "masterTransactionManager")
    @Primary
    public DataSourceTransactionManager masterTransactionManager() {
        return new DataSourceTransactionManager(masterDataSource());
    }
    //根据DataSource和mapper映射文件路径创建SqlSessionFactory
    @Bean(name = "masterSqlSessionFactory")
    @Primary
    public SqlSessionFactory masterSqlSessionFactory(@Qualifier("masterDataSource") DataSource masterDataSource)
            throws Exception {
        final SqlSessionFactoryBean sessionFactory = new SqlSessionFactoryBean();
        sessionFactory.setDataSource(masterDataSource);
        sessionFactory.setMapperLocations(new PathMatchingResourcePatternResolver()
                .getResources(MasterDataSourceConfig.MAPPER_LOCATION));
        return sessionFactory.getObject();
    }
}


  • 配置第二个数据源 【其他数据源的名字可以取别的名称】  

/**
 * 配置ns的数据源
 */
@Configuration
@MapperScan(basePackages = NsDataSourceConfig.PACKAGE, sqlSessionFactoryRef = "nsSqlSessionFactory")
public class NsDataSourceConfig {
   // ns数据源的mapper接口的路径
    static final String PACKAGE = "com.company.dao.ns";
    // ns数据源的mapper.xml文件的类路径
    static final String MAPPER_LOCATION = "classpath:mapping/ns/*.xml";
    //从配置文件读取数据源信息并创建DataSource
    @Bean(name = "nsDataSource")
    @ConfigurationProperties(prefix = "spring.datasource.druid.ns")
    public DataSource nsDataSource() {
        return DataSourceBuilder.create().build();
    }
    //数据源事务设置
    @Bean(name = "nsTransactionManager")
    public DataSourceTransactionManager nsTransactionManager() {
        return new DataSourceTransactionManager(nsDataSource());
    }
    //根据DataSource和mapper映射文件路径创建SqlSessionFactory
    @Bean(name = "nsSqlSessionFactory")
    public SqlSessionFactory nsSqlSessionFactory(@Qualifier("nsDataSource") DataSource nsDataSource)
            throws Exception {
        final SqlSessionFactoryBean sessionFactory = new SqlSessionFactoryBean();
        sessionFactory.setDataSource(nsDataSource);
        sessionFactory.setMapperLocations(new PathMatchingResourcePatternResolver()
                .getResources(NsDataSourceConfig.MAPPER_LOCATION));
        return sessionFactory.getObject();
    }
}


  • 对不同的数据源分别建立dao/master的mapper接口的文件夹和dao/ns的mapper接口文件夹

@Repository
public interface MasterDetailReportMapper {
    /**
     * 将明细报告批量插入数据库
     * @param reportList
     * @return
     */
    int insertBatch(@Param("reportList") List<MasterDetailReportDO> reportList);
    int insert(@Param("report") MasterDetailReportDO report);
    /**
     * 根据transctionid和lineid查询明细 报表
     * @param transactionId
     * @param lineId
     * @return
     */
    MasterDetailReportDO getMasterDetailReportByTranIdAndLineId(@Param("transactionId") long transactionId,@Param("lineId") int lineId);
    /**
     * 将report插入到历史记录表
     * @param report
     * @return
     */
    int insertHistory(@Param("report") MasterDetailReportDO report);
    /**
     * 根据transctionid和lineid删除明细 报表
     * @param transactionId
     * @param lineId
     * @return
     */
    int deleteMasterDetailReportByTranIdAndLineId(@Param("transactionId") long transactionId,@Param("lineId") int lineId);
}


@Repository
public interface NetsuiteMapper {
    /**
     * 根据输入的date查询ns上的 accountingperiod
     * @param date
     * @return
     */
    NSAccountingPeriodsDO getAccountingPeriodIdByDate(@Param("date") Date date);
}


  • 在类路径下分别建立对应的mapper.xml文件
  • classpath:mapping/master 文件夹下的xml文件如下:

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.company.dao.master.MasterDetailReportMapper">
    <resultMap id="detailReportMap" type="com.shokz.domain.MasterDetailReportDO">
        <id column="id" property="id"/>
        <result column="transaction_id" property="transactionId"/>
        <result column="transaction_type" property="transactionType"/>
        <result column="trandate" property="trandate"/>
        <result column="tranid" property="tranid"/>
        <result column="sunlike_id" property="sunlikeId"/>
        <result column="currency" property="curName"/>
        <result column="subsidy" property="subName"/>
        <result column="transaction_line_id" property="lineId"/>
        <result column="class_name" property="className"/>
        <result column="account_id" property="accountId"/>
        <result column="subject" property="subject"/>
        <result column="subject_type" property="subjectType"/>
        <result column="amount" property="amount"/>
        <result column="foreign_amount" property="foreignAmount"/>
        <result column="entity_id" property="entityId"/>
        <result column="entity_name" property="entityName"/>
        <result column="trans_memo" property="transMemo"/>
        <result column="lines_memo" property="linesMemo"/>
        <result column="xm_name" property="xmName"/>
        <result column="hang_memo" property="hangMemo"/>
        <result column="xgf_name" property="xgfName"/>
        <result column="created_time" property="createdTime"/>
        <result column="updated_time" property="updatedTime"/>
        <result column="status" property="status"/>
        <result column="msg" property="msg"/>
    </resultMap>
    <!--sql片段-->
    <sql id="detailReportField">
        id,
        transaction_id,
        transaction_type,
        trandate,
        tranid,
        sunlike_id,
        currency,subsidy,transaction_line_id,class_name,account_id,subject,subject_type,amount,foreign_amount,entity_id,entity_name,
        trans_memo,lines_memo,xm_name,hang_memo,xgf_name,created_time,updated_time,status,msg
    </sql>
    <insert id="insertBatch" parameterType="java.util.List" useGeneratedKeys="true" keyProperty="id">
        INSERT INTO ods_expense_detail_report(`transaction_id`,`transaction_type`,`trandate`,`tranid`,`sunlike_id`,`currency`,`subsidy`,`transaction_line_id`,`class_name`,`account_id`,`subject`,`subject_type`,`amount`,`foreign_amount`,`entity_id`,`entity_name`,`trans_memo`,`lines_memo`,`xm_name`,`hang_memo`,`xgf_name`,`created_time`,`updated_time`,`status`,`msg`)
        VALUES
        <foreach collection ="reportList" item="report" separator =",">
            ( #{report.transactionId}, #{report.transactionType},#{report.trandate}, #{report.tranid},#{report.sunlikeId}, #{report.curName},#{report.subName}, #{report.lineId},#{report.className}, #{report.accountId},#{report.subject}, #{report.subjectType},#{report.amount}, #{report.foreignAmount},#{report.entityId}, #{report.entityName},#{report.transMemo}, #{report.linesMemo},#{report.xmName}, #{report.hangMemo},#{report.xgfName}, #{report.createdTime},#{report.updatedTime}, #{report.status},#{report.msg})
        </foreach >
    </insert>
    <insert id="insert" parameterType="com.shokz.domain.MasterDetailReportDO" useGeneratedKeys="true" keyProperty="id" keyColumn="id" >
        INSERT INTO ods_expense_detail_report(`transaction_id`,`transaction_type`,`trandate`,`tranid`,`sunlike_id`,`currency`,`subsidy`,`transaction_line_id`,`class_name`,`account_id`,`subject`,`subject_type`,`amount`,`foreign_amount`,`entity_id`,`entity_name`,`trans_memo`,`lines_memo`,`xm_name`,`hang_memo`,`xgf_name`,`created_time`,`updated_time`,`status`,`msg`)
        VALUES( #{report.transactionId}, #{report.transactionType},#{report.trandate}, #{report.tranid},#{report.sunlikeId}, #{report.curName},#{report.subName}, #{report.lineId},#{report.className}, #{report.accountId},#{report.subject}, #{report.subjectType},#{report.amount}, #{report.foreignAmount},#{report.entityId}, #{report.entityName},#{report.transMemo}, #{report.linesMemo},#{report.xmName}, #{report.hangMemo},#{report.xgfName}, #{report.createdTime},#{report.updatedTime}, #{report.status},#{report.msg});
    </insert>
    <insert id="insertHistory" parameterType="com.shokz.domain.MasterDetailReportDO" useGeneratedKeys="true" keyProperty="id" keyColumn="id" >
        INSERT INTO history_detail_report(`transaction_id`,`transaction_type`,`trandate`,`tranid`,`sunlike_id`,`currency`,`subsidy`,`transaction_line_id`,`class_name`,`account_id`,`subject`,`subject_type`,`amount`,`foreign_amount`,`entity_id`,`entity_name`,`trans_memo`,`lines_memo`,`xm_name`,`hang_memo`,`xgf_name`,`created_time`,`updated_time`,`status`,`msg`)
        VALUES( #{report.transactionId}, #{report.transactionType},#{report.trandate}, #{report.tranid},#{report.sunlikeId}, #{report.curName},#{report.subName}, #{report.lineId},#{report.className}, #{report.accountId},#{report.subject}, #{report.subjectType},#{report.amount}, #{report.foreignAmount},#{report.entityId}, #{report.entityName},#{report.transMemo}, #{report.linesMemo},#{report.xmName}, #{report.hangMemo},#{report.xgfName}, #{report.createdTime},#{report.updatedTime}, #{report.status},#{report.msg});
    </insert>
    <select id="getMasterDetailReportByTranIdAndLineId" resultMap="detailReportMap">
        select <include refid="detailReportField"/> from ods_expense_detail_report where transaction_id = #{transactionId} and transaction_line_id = #{lineId}
    </select>
    <delete id="deleteMasterDetailReportByTranIdAndLineId">
        delete from ods_expense_detail_report where transaction_id = #{transactionId} and transaction_line_id = #{lineId}
    </delete>
</mapper>
  • classpath:mapping/ns 文件夹下的mapper.xml文件如下

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper
        PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.company.dao.ns.NetsuiteMapper">
    <resultMap id="AccountingPeriods" type="com.shokz.domain.NSAccountingPeriodsDO">
        <result column="period_id" property="accountingPeriodID"/>
        <result column="CLOSED" property="closed"/>
        <result column="CLOSED_ACCOUNTS_PAYABLE" property="closedAccountsPayable"/>
        <result column="CLOSED_ACCOUNTS_RECEIVABLE" property="closedAccountsReceivable"/>
        <result column="CLOSED_ALL" property="closedAll"/>
        <result column="CLOSED_ON" property="closedOn"/>
        <result column="CLOSED_PAYROLL" property="closedPayroll"/>
        <result column="DATE_LAST_MODIFIED" property="dateLastModified"/>
        <result column="ENDING" property="ending"/>
        <result column="FISCAL_CALENDAR_ID" property="fiscalCalendarID"/>
        <result column="FULL_NAME" property="fullName"/>
        <result column="ISINACTIVE" property="isInactive"/>
        <result column="IS_ADJUSTMENT" property="isAdjustment"/>
        <result column="LOCKED_ACCOUNTS_PAYABLE" property="lockedAccountsPayable"/>
        <result column="LOCKED_ACCOUNTS_RECEIVABLE" property="lockedAccountsReceivable"/>
        <result column="LOCKED_ALL" property="lockedAll"/>
        <result column="LOCKED_PAYROLL" property="lockedPayroll"/>
        <result column="NAME" property="name"/>
        <result column="PARENT_ID" property="parentID"/>
        <result column="QUARTER" property="quarter"/>
        <result column="STARTING" property="starting"/>
        <result column="YEAR_0" property="year"/>
        <result column="YEAR_ID" property="yearID"/>
    </resultMap>
    <!--sql片段-->
    <sql id="findById_field">
        ACCOUNTING_PERIOD_ID period_id,CLOSED,CLOSED_ACCOUNTS_PAYABLE,CLOSED_ACCOUNTS_RECEIVABLE,CLOSED_ALL,CLOSED_ON,CLOSED_PAYROLL,DATE_LAST_MODIFIED,ENDING,
        FISCAL_CALENDAR_ID,FULL_NAME,ISINACTIVE,IS_ADJUSTMENT,LOCKED_ACCOUNTS_PAYABLE,LOCKED_ACCOUNTS_RECEIVABLE,LOCKED_ALL,LOCKED_PAYROLL,NAME,
        PARENT_ID,QUARTER,STARTING,YEAR_0,YEAR_ID
    </sql>
    <select id="getAccountingPeriodIdByDate" resultMap="AccountingPeriods">
        select  <include refid="findById_field"/> from ACCOUNTING_PERIODS where STARTING = #{date} and QUARTER='No' and YEAR_0='No'
    </select>
</mapper>

640.png

相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
相关文章
|
4天前
|
SQL 关系型数据库 MySQL
【Go语言专栏】使用Go语言连接MySQL数据库
【4月更文挑战第30天】本文介绍了如何使用Go语言连接和操作MySQL数据库,包括选择`go-sql-driver/mysql`驱动、安装导入、建立连接、执行SQL查询、插入/更新/删除操作、事务处理以及性能优化和最佳实践。通过示例代码,展示了连接数据库、使用连接池、事务管理和性能调优的方法,帮助开发者构建高效、稳定的Web应用。
|
1天前
|
NoSQL Shell MongoDB
NoSQL数据使用指令和引擎连接数据库实例
【5月更文挑战第8天】本文介绍了MongoDB的本地使用和常用操作,包括通过mongo shell连接数据库、显示数据库和集合,以及副本集设置。最后提到了MongoDB的日志功能和顶点集的使用,如capped collection的创建和管理。
16 3
|
1天前
|
Java 数据处理 流计算
实时计算 Flink版产品使用合集之可以通过JDBC连接器来连接Greenplum数据库吗
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
12 1
|
4天前
|
关系型数据库 MySQL 数据库
mysql 设置环境变量与未设置环境变量连接数据库的区别
设置与未设置MySQL环境变量在连接数据库时主要区别在于命令输入方式和系统便捷性。设置环境变量后,可直接使用`mysql -u 用户名 -p`命令连接,而无需指定完整路径,提升便利性和灵活性。未设置时,需输入完整路径如`C:\Program Files\MySQL\...`,操作繁琐且易错。为提高效率和减少错误,推荐安装后设置环境变量。[查看视频讲解](https://www.bilibili.com/video/BV1vH4y137HC/)。
24 3
mysql 设置环境变量与未设置环境变量连接数据库的区别
|
4天前
|
Oracle Java 关系型数据库
【服务器】python通过JDBC连接到位于Linux远程服务器上的Oracle数据库
【服务器】python通过JDBC连接到位于Linux远程服务器上的Oracle数据库
16 6
|
4天前
|
SQL Java 关系型数据库
【JAVA基础篇教学】第十六篇:Java连接和操作MySQL数据库
【JAVA基础篇教学】第十六篇:Java连接和操作MySQL数据库
|
4天前
|
SQL Java 数据库连接
Java数据库编程实践:连接与操作数据库
Java数据库编程实践:连接与操作数据库
12 0
|
4天前
|
关系型数据库 Java 数据库
docker部署postgresql数据库和整合springboot连接数据源
docker部署postgresql数据库和整合springboot连接数据源
19 0
|
4天前
|
SQL JSON 关系型数据库
[UE虚幻引擎插件DTPostgreSQL] PostgreSQL Connector 使用蓝图连接操作 PostgreSQL 数据库说明
本插件主要是支持在UE蓝图中连接和操作PostgreSQL 数据库。
20 2
|
4天前
|
Java 关系型数据库 数据库连接
【C 言专栏】C 语言与数据库的连接与操作
【5月更文挑战第2天】本文探讨了C语言如何连接和操作数据库,介绍了数据库连接的基本原理,如通过ODBC、JDBC或原生接口与数据库交互。文章详细阐述了使用ODBC连接的步骤,并列举了C语言在数据库操作中的常见任务,强调了错误处理、数据类型匹配和性能优化的重要性。通过实际案例,展示了在学生信息管理系统中应用C语言与数据库交互的过程。本文旨在帮助读者更好地理解和应用C语言进行数据库管理。