java操作多数据源将oracle数据同步达梦数据库

简介: java操作多数据源将oracle数据同步达梦数据库

业务场景说明:

老系统使用的是大名鼎鼎的 ORACLE数据库,新系统由于公司 要走 【国产化】使用 达梦数据库,(达梦数据库使用起来真垃圾,不是一般的垃圾)。由于老系统数据表结构 与 新系统不能完全趋向一致,所以考虑使用接口或者定时任务处理业务数据。使用多数据源处理

1.application-druid.yml 配置

1.1maven 依赖

    <!--oracle驱动-->
    <dependency>
        <groupId>com.oracle.database.jdbc</groupId>
        <artifactId>ojdbc6</artifactId>
        <version>11.2.0.4</version>
    </dependency>

数据源配置

spring:
datasource:
type: com.alibaba.druid.pool.DruidDataSource

    #driverClassName: dm.jdbc.driver.DmDriver
    druid:
        # 主库数据源
        master:
            url: jdbc:dm://127.0.0.1:5237/AAAA?useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=true&serverTimezone=GMT%2B8
            username: PSMS
            password: 123456789
        # 从库数据源
        slave:
            # 从数据源开关/默认关闭
            enabled: true
            url: jdbc:oracle:thin:@111.111.111.111:111/BBB
            username: ROOT
            password: 123456
            driverClassName: oracle.jdbc.driver.OracleDriver

        # 初始连接数
        initialSize: 5
        # 最小连接池数量
        minIdle: 10
        # 最大连接池数量
        maxActive: 20
        # 配置获取连接等待超时的时间
        maxWait: 60000
        # 配置间隔多久才进行一次检测,检测需要关闭的空闲连接,单位是毫秒
        timeBetweenEvictionRunsMillis: 60000
        # 配置一个连接在池中最小生存的时间,单位是毫秒
        minEvictableIdleTimeMillis: 300000
        # 配置一个连接在池中最大生存的时间,单位是毫秒
        maxEvictableIdleTimeMillis: 900000
        # 配置检测连接是否有效
        validationQuery: SELECT 1 FROM DUAL
        testWhileIdle: true
        testOnBorrow: false
        testOnReturn: false
        webStatFilter:
            enabled: true
        statViewServlet:
            enabled: true
            # 设置白名单,不填则允许所有访问
            allow:
            url-pattern: /druid/*
            # 控制台管理用户名和密码
            login-username:
            login-password:
        filter:
            stat:
                enabled: true
                # 慢SQL记录
                log-slow-sql: true
                slow-sql-millis: 1000
                merge-sql: true
            wall:
                config:
                    multi-statement-allow: true

2.DataSource注解

package com.aaaa.common.annotation;

import java.lang.annotation.Documented;
import java.lang.annotation.ElementType;
import java.lang.annotation.Inherited;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;
import com.ruoyi.common.enums.DataSourceType;

/**

  • 自定义多数据源切换注解
    *
  • 优先级:先方法,后类,如果方法覆盖了类上的数据源类型,以方法的为准,否则以类上的为准
    *
  • @author wangwei
    /
    @Target({ ElementType.METHOD, ElementType.TYPE })
    @Retention(RetentionPolicy.RUNTIME)
    @Documented
    @Inherited
    public @interface DataSource
    {
    /*
    • 切换数据源名称
      */
      public DataSourceType value() default DataSourceType.MASTER;
      }

3.详细使用

@ApiOperation(value = "oracle数据源 同步 达梦数据库")
@GetMapping("/oracleUserToDMList")
public AjaxResult oracleUserToDMList() {
Login login = new Login();
AjaxResult ajaxResult = loginService.selectLoginList(login);
if (!"200".equals(ajaxResult.get("code").toString())) {
throw new CustomException("老系统oracle网络异常,请检查数据源配置,用户名,密码,或者网络是否通信。请开发人员排查!");
}
List oracleLoginDataList = (List) ajaxResult.get("data");
if (StringUtils.isEmpty(ajaxResult.get("data").toString())) {
throw new CustomException("老系统数据查询有问题,请开发人员排查!");
}

    if (oracleLoginDataList.size() < 1) {
        throw new CustomException("获取的老系统数据转换有问题,请开发人员排查!");
    }

    int inserNum = 0;
    int inserErrNum = 0;
    for (int i = 0; i < oracleLoginDataList.size(); i++) {
        SysUser sysUser = new SysUser();
        sysUser.setUserName(oracleLoginDataList.get(i).getUsername());
        sysUser.setNickName(oracleLoginDataList.get(i).getUserrealname());
        //同步的老系统用户密码 明文统一为  1111111
        sysUser.setPassword("gtWs/z111111111=");
        //新系统 0:正常 1:停用   老系统有字段是 ISDELETE = 1 ,删除的用户直接是物理删除
        sysUser.setStatus(String.valueOf(0));
        sysUser.setUnit(oracleLoginDataList.get(i).getUnit());
        sysUser.setIdnumber(oracleLoginDataList.get(i).getIdnumber());
        sysUser.setArea(oracleLoginDataList.get(i).getArea());
        sysUser.setDivision(oracleLoginDataList.get(i).getDivision());
        sysUser.setRemark("老系统接口同步数据");
        int i1 = sysUserMapper.insertUser(sysUser);
        if (i1 == 1) {
            inserNum = inserNum + 1;
        } else {
            inserErrNum = inserErrNum + 1;
        }
    }
    if (oracleLoginDataList.size() == inserNum) {
        return AjaxResult.success("同步成功:" + inserNum + " 条,用户数据, 失败: " + inserErrNum + " 条!");
    }
    return AjaxResult.error("oracle数据同步 达梦 失败,请开发人员检查!");
}

3.1 oracle数据源读数据
/**

 * 查询老系统-用户表列表
 *
 * @param login 老系统-用户表
 * @return 老系统-用户表
 */
@Override
@DataSource(value = DataSourceType.SLAVE)
public AjaxResult selectLoginList(Login login)
{
    return AjaxResult.success(loginMapper.selectLoginList(login));
}

3.2 达梦入库 oracle的数据

  这里没有指定数据源的原因是:项目框架默认指定  达梦数据源

/**
 * 新增用户信息
 * 
 * @param user 用户信息
 * @return 结果
 */
public int insertUser(SysUser user);

image.pngimage.png

image.png

达梦入库的数据
image.png
这里注意的是,一定要在上层 依次调用不同数据源的方法,否则会出现 多数据源失效问题

相关文章
|
6月前
|
SQL 数据库 Docker
【赵渝强老师】在Docker中运行达梦数据库
本文介绍了在Docker容器中部署达梦数据库(DM 8)的具体步骤,包括创建文件夹、下载安装包、导入镜像、启动容器、登录数据库及查看状态等操作。同时,通过视频讲解辅助理解。文中还分析了将数据库服务容器化的潜在问题,如数据安全性、硬件资源争用、网络带宽占用和额外隔离带来的挑战,指出数据库服务在生产环境中可能不适合容器化的原因。
345 4
【赵渝强老师】在Docker中运行达梦数据库
|
6月前
|
SQL 缓存 分布式数据库
【赵渝强老师】达梦数据库的线程结构
达梦数据库采用单进程、多线程结构,利用对称服务器架构实现高效资源利用与可扩展性。其核心线程类型包括监听线程(管理客户端连接)、I/O线程(处理数据页读写)、工作线程(执行数据操作)、调度线程(定时任务管理)和日志刷新线程(确保REDO日志刷盘)。通过合理分工与同步机制,达梦数据库实现了高性能与稳定性。视频讲解进一步详细介绍了各线程的功能与协作方式。
149 1
【赵渝强老师】达梦数据库的线程结构
|
6月前
|
Linux 数据库
【赵渝强老师】达梦数据库的目录结构
本文介绍了达梦数据库(DM 8)安装成功后的目录结构查看方法,通过Linux的`tree`命令展示各目录功能,如`bin`存放可执行文件、`data`为数据库实例目录等。还提供了视频讲解及`data`目录下具体文件示例,帮助用户深入了解数据库文件组成与作用。
180 23
|
6月前
|
存储 SQL NoSQL
【赵渝强老师】达梦数据库的逻辑存储结构
本文介绍了达梦数据库的存储结构,包括逻辑和物理存储两部分。逻辑存储结构由数据库(Database)、表空间(Tablespaces)、段(Segments)、簇(Cluster)和页(Page)组成。数据库是最大逻辑单元,包含所有表、索引等;表空间由数据文件组成,用于存储对象;段由簇构成,簇包含连续的数据页;页是最小存储单元。文中还提供了查询表空间、段和页大小的SQL语句,并附有视频讲解和示意图。
245 7
|
6月前
|
存储 SQL 数据库
【赵渝强老师】达梦数据库的数据库对象
达梦数据库包含基本与复杂两大类数据库对象。基本对象如表、索引、视图、序列和同义词,通过单一DDL语句创建和管理。表是数据存储核心,支持多种数据类型;索引提升查询速度,常见类型包括聚集、唯一、函数等索引;视图提供虚表功能;序列生成有序整数;同义词简化对象访问。复杂对象包括存储过程、函数和触发器,需用DMSQL语言开发,适用于更复杂的业务逻辑处理。文中通过实例详细介绍了各类对象的创建与使用方法。
303 3
|
6月前
|
SQL 存储 运维
【赵渝强老师】达梦数据库的客户端工具
本文介绍了达梦数据库的多种工具及其使用方法,包括disql交互式查询工具、数据库配置助手DBCA、DM管理工具、DM服务查看器、DM控制台工具、DM数据迁移工具、DM性能监视工具以及DM审计分析工具。每种工具的功能和操作步骤均有详细说明,并配有相关图片和代码示例,帮助用户更好地理解和使用这些工具,提升数据库管理和维护效率。
625 1
|
6月前
|
SQL 存储 数据库
【赵渝强老师】达梦数据库的归档模式
本文介绍了达梦数据库备份与恢复中重做日志文件的作用,重点讲解了归档模式的必要性及其配置方法。文章分析了非归档模式可能导致的数据丢失问题,并推荐使用归档模式以保障数据一致性和完整性。归档模式分为本地归档和远程归档:本地归档将重做日志存储在本地,而远程归档适用于集群环境,确保所有节点拥有完整日志。文中还详细展示了如何通过SQL命令开启归档模式,包括切换状态、设置路径及验证配置等步骤,并附有视频教程辅助理解。
336 1
|
6月前
|
SQL 存储 缓存
【赵渝强老师】达梦数据库的内存结构
本文介绍了达梦数据库管理系统的内存结构,包括内存池、缓冲区、排序区和哈希区。内存池分为共享内存池和运行时内存池,能够提高内存申请与释放效率,并便于监控内存使用情况。缓冲区涵盖数据缓冲区、日志缓冲区、字典缓冲区和SQL缓冲区,用于优化数据读写和查询性能。排序区和哈希区分别提供排序和哈希连接所需的内存空间,通过合理配置参数可提升系统效率。文内附有具体配置示例及视频讲解,帮助用户深入理解达梦数据库的内存管理机制。
162 0
|
6月前
|
存储 SQL 安全
【赵渝强老师】达梦数据库的物理存储结构
本文介绍了达梦数据库的存储结构及各类物理文件的作用。达梦数据库通过逻辑和物理存储结构管理数据,包含配置文件(如dm.ini、sqllog.ini)、控制文件(dm.ctl)、数据文件(*.dbf)、重做日志文件(*.log)、归档日志文件、备份文件(*.bak)等。配置文件用于功能设置,控制文件记录数据库初始信息,数据文件存储实际数据,重做日志用于故障恢复,归档日志增强数据安全性,备份文件保障数据完整性,跟踪与事件日志辅助问题分析。这些文件共同确保数据库高效、稳定运行。
254 0
|
6月前
|
存储 SQL 并行计算
【赵渝强老师】达梦数据库MPP集群的架构
达梦数据库提供大规模并行处理(MPP)架构,以低成本实现高性能并行计算,满足海量数据存储和复杂查询需求。DM MPP采用完全对等无共享体系,消除主节点瓶颈,通过多节点并行执行提升性能。其执行流程包括主EP生成计划、分发任务、各EP并行处理及结果汇总返回。为确保高可用性,建议结合数据守护部署。
154 0

热门文章

最新文章

推荐镜像

更多