🍅 欢迎点赞 👍 收藏 ⭐留言 📝

🍅 如有编辑错误联系作者，如果有比较好的文章欢迎分享给我，我会取其精华去其糟粕 🍅java自学的学习路线：java自学的学习路线

一、前言

在公司使用dataX实现异构数据库离线结构同步之后，公司同步数据库数据效率大大提升，但是如果oracle数据库创建了一张test表，想同步到mysql数据库，也需要在mysql数据库中创建test表之后,才能实现数据库表结构同步，DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作，但是就是没有同步表结构的功能，然后在gitee上面，发现了一个叫做dbswitch的项目

网络异常，图片无法展示

dbswitch开源项目地址：https://gitee.com/inrgihc/dbswitch^[1]

dbswitch实现的功能是:异构数据库迁移同步工具,dbswitch提供源端数据库向目的端数据的全量与增量迁移同步功能,其实大概功能和datax类似，只是效率和稳定性没有datax好，因为datax毕竟是阿里巴巴开源，并且也是目前国内认为开源中最好的离线数据同步工具，但是dbswitch有一个强大的功能，并且目前开源项目中我认为最完善的异构数据库表结构同步功能（我是在github,gitee上面找了几乎所有的国内表结构同步项目，最后选择了dbswitch）目前dbswitch同步的功能有：

一句话，dbswitch工具提供源端数据库向目的端数据库的批量迁移同步功能，支持数据的全量和增量方式同步。包括：

结构迁移

支持字段类型、主键信息、建表语句等的转换，并生成建表SQL语句。

支持基于正则表达式转换的表名与字段名映射转换。

数据同步。

基于JDBC的分批次读取源端数据库数据，并基于insert/copy方式将数据分批次写入目的数据库。

支持有主键表的 增量变更同步 （变化数据计算Change Data Calculate）功能(千万级以上数据量的性能尚需在生产环境验证)

而他的数据同步可以使用datax替代，但是结构迁移目前最好表结构同步方案，然后我经过了大概半个月的时间，进行修改测试整合，目前dbswitch+datax的整合已经进入尾声，在生产环境上能够实现dbswitch实现表结构同步，datax实现数据同步！

二、dbswitch阉割版（异构数据库表结构同步工具）简介

1、dbswitch阉割版之后功能

我将dbswitch修改之后，dbswitch只支持表结构同步功能，没有数据同步功能了，主要支持字段类型、主键信息、建表语句等的转换，并生成建表SQL语句。

支持基于正则表达式转换的表名与字段名映射转换。

2、功能设计

这张图是dbswitch开源作者画的，其中阉割版的dbswitch就取消了离线异构数据同步功能

网络异常，图片无法展示

3、表结构同步支持的数据库

目前常见数据库oracle,db2，mysql,sqlserver都全部支持，具体详情请参考：

源段oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为Greenplum/PostgreSQL/HighGo的迁移(支持绝大多数常规类型字段)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为Oracle的迁移(支持绝大多数常规类型字段)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为DM的迁移(支持绝大多数常规类型字段...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为SQLServer的迁移(字段类型兼容测试中...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为MySQL/MariaDB的迁移(字段类型兼容测试中...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为DB2的迁移(字段类型兼容测试中...)
源端oracle/SqlServer/MySQL/MariaDB/PostgreSQL/DB2/DM/Kingbase8/HighGo/Hive向目的端为Kingbase8的迁移(支持绝大多数常规类型字段...)

4、dbswitch模块结构设计

网络异常，图片无法展示

5、模块结构功能

└── dbswitch
    ├── dbswitch-common    // dbswitch通用定义模块
    ├── dbswitch-pgwriter  // PostgreSQL的二进制写入封装模块
    ├── dbswitch-dbwriter  // 数据库的通用批量Insert封装模块
    ├── dbswitch-core      // 数据库元数据抽取与建表结构语句转换模块
    ├── dbswitch-sql       // 基于calcite的DML语句转换与DDL拼接模块
    ├── dbswitch-dbcommon  // 数据库操作通用封装模块
    ├── dbswitch-dbchange  // 基于全量比对计算变更（变化量）数据模块
    ├── dbswitch-dbsynch   // 将dbchange模块计算的变更数据同步入库模块
    ├── dbswitch-data      // 工具入口模块，读取配置文件中的参数执行异构迁移同步
    ├── dbswitch-admin     // 在以上模块的基础上引入Quartz的调度服务与接口
    ├── dbswitch-admin-ui  // 基于Vue2的前段WEB交互页面
    ├── package-tool       // 基于maven-assembly-plugin插件的项目打包模块

三、dbswitch实现异构数据库表结构同步功能

我们可以将gitee仓库的dbswitch拉取到本地开发环境：https://gitee.com/inrgihc/dbswitch.git^[2]

1、在dbswitch-data下找到MigrationHandler

拉取下来之后部署，修改MigrationHandler代码如下：

网络异常，图片无法展示

2、修改dbswitch-admin的配置

网络异常，图片无法展示

server:
  port: 9088spring:
  application:
    name: dbswitch-admin
  tomcat:
    uri-encoding: UTF-8
    max-http-header-size: 8096  mvc:
    throw-exception-if-no-handler-found: true    static-path-pattern: /statics/dbswitch/**
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://127.0.0.1:3306/dbswitch?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC
    username: root
    password: root
    validation-query: SELECT 1    test-on-borrow: true  flyway:
    locations: classpath:db/migration
    baseline-on-migrate: true    table: DBSWITCH_SCHEMA_HISTORY
    enabled: truemybatis:
  configuration:
    lazy-loading-enabled: true    aggressive-lazy-loading: false    map-underscore-to-camel-case: true#log-impl: org.apache.ibatis.logging.stdout.StdOutImplmapper:
  wrap-keyword: "`{0}`"  enable-method-annotation: true

注意：我使用的是mysql8所以还得修改maven

<dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>8.0.22</version><scope>runtime</scope></dependency>

3、如果想实现Oracle相关表结构同步需要添加依赖

在dbswitch-core的maven里面添加依赖，不然最初始的项目不支持oracle，会报错：

<dependency><groupId>cn.easyproject</groupId><artifactId>orai18n</artifactId><version>12.1.0.2.0</version></dependency>

网络异常，图片无法展示

这样之后启动项目，启动项目之前需要在数据库中创建dbswitch数据库，dbswitch可以实现自动导入表，所以只需要创建数据库就可以了，创建数据库的语句：

drop database if exists `dbswitch`;#创建dbswitch数据库
create database `dbswitch` DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

阉割版的dbswitch就可以实现了，启动项目，项目访问地址：http://127.0.0.1:9088/^[3]

账户：admin密码:123456

网络异常，图片无法展示

4、dbswitch添加账户密码

dbswitch本身没有添加账户的功能，如果登录只能admin/123456进行登入，如果想添加账户，需要数据库管理员（DBA）添加

网络异常，图片无法展示

我们可以看到dbswitch的用户密码是加了盐的

网络异常，图片无法展示

我们想要添加账户时需要给密码加盐，java实现dbswitch的密码

网络异常，图片无法展示

导入maven

<dependency><groupId>cn.hutool</groupId><artifactId>hutool-all</artifactId><version>5.7.5</version></dependency>

java,输入密码自动实现加密

packagecom.tjcu;
importcn.hutool.crypto.digest.BCrypt;
publicclassPasswordUtils {
publicstaticvoidmain(String[] args) {
Stringpassword="whj1234";
StringcredentialsSalt="$2a$10$eUanVjvzV27BBxAb4zuBCu";
StringnewPassword=encryptPassword(password, credentialsSalt);
System.out.println(newPassword);
System.out.println(credentialsSalt);
    }
publicstaticStringencryptPassword(Stringpassword, StringcredentialsSalt) {
returnBCrypt.hashpw(password, credentialsSalt);
    }
}

网络异常，图片无法展示

在dbswitch 添加账号sql语句

# dbswitch 添加账号sql语句
INSERT INTO `dbswitch_system_user` VALUES (2, 'whj', 
'$2a$10$eUanVjvzV27BBxAb4zuBCuK/4evNmPiFwA.XvSOd6Efpw.hQZbST.', 
'$2a$10$eUanVjvzV27BBxAb4zuBCu', 'whj', '123@qq.com', '', 0, NOW(), NOW());

网络异常，图片无法展示

这样之后我们阉割版的dbswitch就全部完成了

四、dbswitch实现nginx配置

dbswitch全部完成了,但是项目需要放在生产环境上，需要使用nginx进行转发，如果我们之间转发

http://127.0.0.1:9088/^[4]这个连接的话，影响nginx使用，占用太多的资源了，所以为了节约nginx资源，我们需要在端口号后面增加dbswitch,http://127.0.0.1:9088/^[5]dbswitch访问

1、修改dbswtch的前端vue项目

这是dbswitch的前端代码，

网络异常，图片无法展示

但是我修改前端代码实出现这个报错，而我对vue就会皮毛，改也不会改，然后我就自己通过idea手动修改了打包后的静态资源

网络异常，图片无法展示

我将所有的静态资源的static改为dbswitch,如index.html

修改后的静态资源我放在了gitee上面了，如果自己不想修改的可以参考我的：https://gitee.com/programmer-wanghengjie/dbswitchTable-synchronization.git

网络异常，图片无法展示

2、修改WebMvcConfig

网络异常，图片无法展示

@ConfigurationpublicclassWebMvcConfigimplementsWebMvcConfigurer {
@OverridepublicvoidaddResourceHandlers(ResourceHandlerRegistryregistry) {
// 访问http://localhost:8080/index.html 都会跳转到classpath:/index.html下去找，即resources/index.htmlregistry.addResourceHandler("/index.html").addResourceLocations("classpath:/index.html");
registry.addResourceHandler("/favicon.ico").addResourceLocations("classpath:/favicon.ico");
// 访问http://localhost:8080/static/*** 都会跳转到classpath:/static/下去找，即resources/static/registry.addResourceHandler("/dbswitch/**").addResourceLocations("classpath:/dbswitch/");
  }
@OverridepublicvoidaddViewControllers(ViewControllerRegistryregistry) {
registry.addViewController("/dbswitch").setViewName("forward:index.html");
  }
}

3、修改application.yml

static-path-pattern: /statics/dbswitch/**

网络异常，图片无法展示

然后启动项目之后访问地址：http://127.0.0.1:9088/dbswitch#/login^[7]

4、然后部署在开发环境上面配置nginx

我们一般在一台机器上部署项目，部署项目步骤

本工具纯Java语言开发，代码中的依赖全部来自于开源项目。

（1）编译打包

环境要求:
JDK:>=1.8 （建议用JDK 1.8）
maven:>=3.6

Maven 仓库默认在国外，国内使用难免很慢，可以更换为阿里云的仓库。参考教程： 配置阿里云的仓库教程^[8]

(2) Linux下编译：

#最好上传自己修改后的版本
git clone https://gitee.com/inrgihc/dbswitch.git
cd dbswitch/
sh ./build.sh

（3）当编译打包命令执行完成后，会在dbswitch/target/目录下生成dbswitch-relase-x.x.x.tar.gz的打包文件，将文件拷贝到已安装JRE的部署机器上解压即可。

tar -zxvf dbswitch-release-1.6.9.tar.gz

网络异常，图片无法展示

在dbswitch-release-1.6.9的bin中启动项目

./startup.sh

网络异常，图片无法展示

5、在nginx中配置

location ~ ^/dbswitch{
            proxy_pass  http://ip:9088;
        }

然后启动项目，我在我的虚拟机上面配置的nginx，访问项目，正常访问

网络异常，图片无法展示

五、阉割版的DBSwitch使用帮助手册

1、DBSwitch登录

开发环境登录地址：http://ip:9088/dbswitch^[9]

网络异常，图片无法展示

输入网址后进入DBSwitch系统登录页，须填写用户名和密码。

用户名：

密码：

2、核心功能

（1）数据源连接管理

见左侧“连接管理”🡪“添加”

网络异常，图片无法展示

点击“添加之后”：

可以选择数据库名称，选择数据库类型，jdbc连接串和账户密码；

网络异常，图片无法展示

添加成功后示意图：

网络异常，图片无法展示

测试是否连接成功

网络异常，图片无法展示

（2）任务管理

见左侧“任务管理栏”🡪“任务安排”🡪“添加”

网络异常，图片无法展示

完成基本信息配置，点击下一步

网络异常，图片无法展示

完成源数据库配置：点击下一步

网络异常，图片无法展示

完成目标数据库配置：点击下一步

网络异常，图片无法展示

同步表的关系映射，如果表名映射和字段名映射为空时，表示

网络异常，图片无法展示

如果目标表需要改名，点击添加表映射

网络异常，图片无法展示

添加成功后点击预览表名映射看是否改名成功（必须操作）

注意：这个查看表名映射关系的操作必须操作，有时候大家感觉自己添加映射之后没什么问题，但是有时候添加表名的时候是复制粘贴的，系统没识别，不查看表名关系映射直接操作下一步的话，可能会出现表名修改失败，导致同步的数据库表名和源端表名一样，需要走OA删除建的表导致时间浪费过长

网络异常，图片无法展示

如果字段名需要修改，点击添加字段名映射

网络异常，图片无法展示

同样的步骤也要预览字段名

网络异常，图片无法展示

点击下一步之后，点击提交

网络异常，图片无法展示

点击发布也可以点击更多修改配置，但是一旦发布就不能再修改

网络异常，图片无法展示

点击执行同步表结构就开始了！

网络异常，图片无法展示

见左侧“任务管理栏”——》“调度记录”“任务安排列表”

网络异常，图片无法展示

点击刚才任务中取的名字，查看任务日志

网络异常，图片无法展示

如果同步成功以后，可以点击

见左侧“数据目录栏”——》“数据源导航树”——》“查看自己同步目标库的目标表”

网络异常，图片无法展示

查看目标表的建表和赋权限的sql语句是否正确

注意：重点查看是否赋权限

网络异常，图片无法展示

点击字段信息，查看同步后目标表的字段是否正确

网络异常，图片无法展示

点击取样数据主要是查看表中的数据，同步表之后数据为空，如果需要实现同步数据，请使用datax实现，使用datax同步数据之后可以使用dbswitch查看数据是否同步成功

网络异常，图片无法展示

DBSwitch阉割版实现异构数据库表结构同步,补全dataX不能同步数据库表结构功能

一、前言

二、dbswitch阉割版（异构数据库表结构同步工具）简介

1、dbswitch阉割版之后功能

2、功能设计

3、表结构同步支持的数据库

4、dbswitch模块结构设计

5、模块结构功能

三、dbswitch实现异构数据库表结构同步功能

1、在dbswitch-data下找到MigrationHandler

2、修改dbswitch-admin的配置

3、如果想实现Oracle相关表结构同步需要添加依赖

4、dbswitch添加账户密码

四、dbswitch实现nginx配置

1、修改dbswtch的前端vue项目

2、修改WebMvcConfig

3、修改application.yml

4、然后部署在开发环境上面配置nginx

（1）编译打包

（3）当编译打包命令执行完成后，会在dbswitch/target/目录下生成dbswitch-relase-x.x.x.tar.gz的打包文件，将文件拷贝到已安装JRE的部署机器上解压即可。

5、在nginx中配置

五、阉割版的DBSwitch使用帮助手册

1、DBSwitch登录

2、核心功能

（1）数据源连接管理

（2）任务管理

热门文章

最新文章

相关课程

相关电子书

相关实验场景