基于dataX实现多种数据源数据汇聚(二)

简介: 上一篇文章提到在数据中台项目实践过程中,基于dataX实现数据汇聚的一些使用心得,在众多项目中,发现一个趋势,国产数据库的发展趋势,越来越多的企业要求国产化保障核心资产的安全。本章节主要介绍国产数据的安装、连接、与归集的知识。涉及场景的国产数据库如下:1、达梦2、人大金仓(后续补充)3、南大通用(后续补充)

1、达梦数据库安装

1.1 准备

下载:DM8:https://www.dameng.com/list_103.html

数据库版本:dm8

1.2 安装过程

1、上传安装文件并挂载镜像

mount -o loop dm8_setup_rh7_64_ent_8.1.1.45_20191121.iso /mnt

2、创建普通用户(有用户可省略)

groupadd dinstall

useradd -g dinstall dmdba

#密码默认设为:dameng123

passwd dmdba

创建安装目录并授权给用户

mkdir /opt/dm8

chown -R dmdba:dinstall /opt/dm8

3、安装数据库

安装用户进入/mnt目录安装

./DMInstall.bin -i

4、安装完成后初始化数据库并连接

#切换root用户,进入安装目录

./dm8/tool/dbca.sh

#切换普通用户,连接数据库

./disql sysdba/dameng123

#或指定端口

./disql sysdba/dameng123@localhost:5237

5、服务启动和停止

#启动服务实例

systemctl start DmServiceDMSERVER.service

#停止服务实例

systemctl stop DmServiceDMSERVER.service

6、安装完取消挂载:umount /mnt

2、达梦数据库连接

2.1 IntelliJ IDEA 连接方式

选择database

image.png

先增加DM的驱动

image.png

点击下Driver Files下面的+号,添加驱动文件;如果JKD是1.8,就选择DmJdbcDriver18.jar;如果JKD是1.7,就选择DmJdbcDriver17.jar

jar文件在安装目录的drivers/jdbc下面

image.png

配置dataSource

image.png

在Driver处理选择前面配置的驱动,最后输入用户名、密码、url,然后测试

image.png

打开数据源,创建一个新的窗口,就可以使用了

image.png

2.2 dbeaver 连接方式

在新版的 DBeaver 中不再支持 ODBC 连接,可能是因为 JDBC-ODBC 网桥已经从 Java 8 中移除。所以网络上的旧教程让使用 ODBC 连接就找不到了,下面是一个正确使用 DBeaver 连接 达梦(DaMeng) 数据库的方法。

2.2.1 在DBeaver中添加驱动程序配置

打开驱动程序管理器对话框,您可以从主菜单打开驱动程序管理器:

网络异常,图片无法展示
|

2.2.2 添加新驱动程序

只需单击“新建”按钮并创建一个新的驱动程序。在“驱动程序编辑”对话框中,您需要输入所有必需的信息:

网络异常,图片无法展示
|

我们填入驱动的名称、驱动包名(Class Name)、连接字符串模板(URL Template)、默认端口(Default Port),然后选择 Libraries,添加达梦的驱动Jar包,这个可以从下载的达梦安装包里找到。

网络异常,图片无法展示
|
网络异常,图片无法展示
|

其中:添加的达梦驱动Jar包,来源于达梦数据库安装后的目录中

DmJdbcDriver16.jar

2.2.3 新建一个 达梦(DaMeng) 连接

在新建界面中搜索我们添加的 DaMeng 连接,填入达梦数据库的地址、端口、账号、密码,点击完成:

网络异常,图片无法展示
|

image.png

到这里已经可以成功的连接并打开达梦数据库了:

网络异常,图片无法展示
|


3、达梦数据库datax数据归集

达梦数据的读配置文件:

"reader":{
"name":"rdbmsreader",
"parameter":{
"connection":[
            {
"querySql":[
"select test1  from  test_table1 "                ],
"jdbcUrl":[
"jdbc:dm://10.10.101.10:5236"                ]
            }
        ],
"username":"dm_test1",
"password":"123456789"    }
}

其他dataX使用与上一篇文章描述一致。


目录
相关文章
|
2天前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之选择独享调度,数据集成里可以使用,但是数据地图里面测试无法通过,是什么原因导致的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
9 0
DataWorks产品使用合集之选择独享调度,数据集成里可以使用,但是数据地图里面测试无法通过,是什么原因导致的
|
21天前
|
分布式计算 DataWorks 关系型数据库
DataWorks操作报错合集之数据源同步时,使用脚本模式采集mysql数据到odps中,使用querySql方式采集数据,在脚本中删除了Reader中的column,但是datax还是报错OriginalConfPretreatmentUtil - 您的配置有误。如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
23天前
|
分布式计算 DataWorks DataX
DataWorks产品使用合集之DataX的ODPSReader和Tunnel是两种不同的读取MC(原名ODPS)数据的方式吗
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
33 3
|
21天前
|
DataWorks NoSQL Java
DataWorks操作报错合集之数据集成使用公共数据集成资源组写入到redis数据源(使用的是VPC连接),提示以下错误:request action:[InnerVpcGrantVpcInstanceAccessToApp], message:[InvalidInstanceId.怎么解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
21天前
|
SQL DataWorks 安全
DataWorks产品使用合集之在进行测试数据集成时,目标库的数据是源库数据的3倍量,是什么导致的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之在进行测试数据集成时,目标库的数据是源库数据的3倍量,是什么导致的
|
4天前
|
分布式计算 DataWorks 调度
DataWorks操作报错合集之DataX访问MaxCompute(原ODPS)突然无法读取到字段数据,是什么导致的
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
4天前
|
SQL 数据采集 DataWorks
DataWorks操作报错合集之数据集成里面的数据调度独享资源组测试通过了,但是数据地图里无法通过,该如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
21天前
|
数据采集 弹性计算 DataWorks
DataWorks产品使用合集之对于ECS数据源的数据集成,是否需要使用独享调度资源和独享集成资源
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
431 0
|
21天前
|
SQL 数据采集 分布式计算
DataWorks产品使用合集之在数据集成中,对于Tablestore数据源的增量同步,该如何配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
2月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。