基于dataX实现多种数据源数据汇聚(二)

简介: 上一篇文章提到在数据中台项目实践过程中,基于dataX实现数据汇聚的一些使用心得,在众多项目中,发现一个趋势,国产数据库的发展趋势,越来越多的企业要求国产化保障核心资产的安全。本章节主要介绍国产数据的安装、连接、与归集的知识。涉及场景的国产数据库如下:1、达梦2、人大金仓(后续补充)3、南大通用(后续补充)

1、达梦数据库安装

1.1 准备

下载:DM8:https://www.dameng.com/list_103.html

数据库版本:dm8

1.2 安装过程

1、上传安装文件并挂载镜像

mount -o loop dm8_setup_rh7_64_ent_8.1.1.45_20191121.iso /mnt

2、创建普通用户(有用户可省略)

groupadd dinstall

useradd -g dinstall dmdba

#密码默认设为:dameng123

passwd dmdba

创建安装目录并授权给用户

mkdir /opt/dm8

chown -R dmdba:dinstall /opt/dm8

3、安装数据库

安装用户进入/mnt目录安装

./DMInstall.bin -i

4、安装完成后初始化数据库并连接

#切换root用户,进入安装目录

./dm8/tool/dbca.sh

#切换普通用户,连接数据库

./disql sysdba/dameng123

#或指定端口

./disql sysdba/dameng123@localhost:5237

5、服务启动和停止

#启动服务实例

systemctl start DmServiceDMSERVER.service

#停止服务实例

systemctl stop DmServiceDMSERVER.service

6、安装完取消挂载:umount /mnt

2、达梦数据库连接

2.1 IntelliJ IDEA 连接方式

选择database

image.png

先增加DM的驱动

image.png

点击下Driver Files下面的+号,添加驱动文件;如果JKD是1.8,就选择DmJdbcDriver18.jar;如果JKD是1.7,就选择DmJdbcDriver17.jar

jar文件在安装目录的drivers/jdbc下面

image.png

配置dataSource

image.png

在Driver处理选择前面配置的驱动,最后输入用户名、密码、url,然后测试

image.png

打开数据源,创建一个新的窗口,就可以使用了

image.png

2.2 dbeaver 连接方式

在新版的 DBeaver 中不再支持 ODBC 连接,可能是因为 JDBC-ODBC 网桥已经从 Java 8 中移除。所以网络上的旧教程让使用 ODBC 连接就找不到了,下面是一个正确使用 DBeaver 连接 达梦(DaMeng) 数据库的方法。

2.2.1 在DBeaver中添加驱动程序配置

打开驱动程序管理器对话框,您可以从主菜单打开驱动程序管理器:

网络异常,图片无法展示
|

2.2.2 添加新驱动程序

只需单击“新建”按钮并创建一个新的驱动程序。在“驱动程序编辑”对话框中,您需要输入所有必需的信息:

网络异常,图片无法展示
|

我们填入驱动的名称、驱动包名(Class Name)、连接字符串模板(URL Template)、默认端口(Default Port),然后选择 Libraries,添加达梦的驱动Jar包,这个可以从下载的达梦安装包里找到。

网络异常,图片无法展示
|
网络异常,图片无法展示
|

其中:添加的达梦驱动Jar包,来源于达梦数据库安装后的目录中

DmJdbcDriver16.jar

2.2.3 新建一个 达梦(DaMeng) 连接

在新建界面中搜索我们添加的 DaMeng 连接,填入达梦数据库的地址、端口、账号、密码,点击完成:

网络异常,图片无法展示
|

image.png

到这里已经可以成功的连接并打开达梦数据库了:

网络异常,图片无法展示
|


3、达梦数据库datax数据归集

达梦数据的读配置文件:

"reader":{
"name":"rdbmsreader",
"parameter":{
"connection":[
            {
"querySql":[
"select test1  from  test_table1 "                ],
"jdbcUrl":[
"jdbc:dm://10.10.101.10:5236"                ]
            }
        ],
"username":"dm_test1",
"password":"123456789"    }
}

其他dataX使用与上一篇文章描述一致。


目录
相关文章
|
4月前
|
DataWorks API 数据库
DataWorks操作报错合集之在使用 OceanBase (OB) 作为数据源进行数据集成时遇到报错,该如何排查
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之选择独享调度,数据集成里可以使用,但是数据地图里面测试无法通过,是什么原因导致的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
50 0
DataWorks产品使用合集之选择独享调度,数据集成里可以使用,但是数据地图里面测试无法通过,是什么原因导致的
|
4月前
|
SQL DataWorks 关系型数据库
DataWorks产品使用合集之数据集成时源头提供数据库自定义函数调用返回数据,数据源端是否可以写自定义SQL实现
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
DataWorks 安全 API
DataWorks产品使用合集之是否可以不使用DataWorks进行EMR的调度和DataX数据导入
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
数据采集 分布式计算 大数据
MaxCompute产品使用合集之数据集成中进行数据抽取时,是否可以定义使用和源数据库一样的字符集进行抽取
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
分布式计算 DataWorks 数据挖掘
DataWorks操作报错合集之上传数据时报错com.alibaba.datax.common.exception.DataXException: Code:[UnstructuredStorageReader-11],该如何排查
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
3月前
|
数据采集 SQL DataWorks
【颠覆想象的数据巨匠】DataWorks——远超Excel的全能数据集成与管理平台:一场电商数据蜕变之旅的大揭秘!
【8月更文挑战第7天】随着大数据技术的发展,企业对数据处理的需求日益增长。DataWorks作为阿里云提供的数据集成与管理平台,为企业提供从数据采集、清洗、加工到应用的一站式解决方案。不同于桌面级工具如Excel,DataWorks具备强大的数据处理能力和丰富的功能集,支持大规模数据处理任务。本文通过电商平台案例,展示了如何使用DataWorks构建数据处理流程,包括多源数据接入、SQL任务实现数据采集、数据清洗加工以提高质量,以及利用分析工具挖掘数据价值的过程。这不仅凸显了DataWorks在大数据处理中的核心功能与优势,还展示了其相较于传统工具的高扩展性和灵活性。
127 0
|
3月前
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据集成并发数不支持批量修改,该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
15天前
|
数据采集 DataWorks 数据管理
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第10天】随着大数据技术的发展,企业对数据处理的需求日益增长。阿里云推出的DataWorks是一款强大的数据集成和管理平台,提供从数据采集、清洗、加工到应用的一站式解决方案。本文通过电商平台案例,详细介绍了DataWorks的核心功能和优势,展示了如何高效处理大规模数据,帮助企业挖掘数据价值。
58 1
|
21天前
|
数据采集 SQL DataWorks
DataWorks不是Excel,它是一个数据集成和数据管理平台
【10月更文挑战第5天】本文通过一家电商平台的案例,详细介绍了阿里云DataWorks在数据处理全流程中的应用。从多源数据采集、清洗加工到分析可视化,DataWorks提供了强大的一站式解决方案,显著提升了数据分析效率和质量。通过具体SQL示例,展示了如何构建高效的数据处理流程,突显了DataWorks相较于传统工具如Excel的优势,为企业决策提供了有力支持。
66 3