基于dataX实现多种数据源数据汇聚(二)

简介: 上一篇文章提到在数据中台项目实践过程中,基于dataX实现数据汇聚的一些使用心得,在众多项目中,发现一个趋势,国产数据库的发展趋势,越来越多的企业要求国产化保障核心资产的安全。本章节主要介绍国产数据的安装、连接、与归集的知识。涉及场景的国产数据库如下:1、达梦2、人大金仓(后续补充)3、南大通用(后续补充)

1、达梦数据库安装

1.1 准备

下载:DM8:https://www.dameng.com/list_103.html

数据库版本:dm8

1.2 安装过程

1、上传安装文件并挂载镜像

mount -o loop dm8_setup_rh7_64_ent_8.1.1.45_20191121.iso /mnt

2、创建普通用户(有用户可省略)

groupadd dinstall

useradd -g dinstall dmdba

#密码默认设为:dameng123

passwd dmdba

创建安装目录并授权给用户

mkdir /opt/dm8

chown -R dmdba:dinstall /opt/dm8

3、安装数据库

安装用户进入/mnt目录安装

./DMInstall.bin -i

4、安装完成后初始化数据库并连接

#切换root用户,进入安装目录

./dm8/tool/dbca.sh

#切换普通用户,连接数据库

./disql sysdba/dameng123

#或指定端口

./disql sysdba/dameng123@localhost:5237

5、服务启动和停止

#启动服务实例

systemctl start DmServiceDMSERVER.service

#停止服务实例

systemctl stop DmServiceDMSERVER.service

6、安装完取消挂载:umount /mnt

2、达梦数据库连接

2.1 IntelliJ IDEA 连接方式

选择database

image.png

先增加DM的驱动

image.png

点击下Driver Files下面的+号,添加驱动文件;如果JKD是1.8,就选择DmJdbcDriver18.jar;如果JKD是1.7,就选择DmJdbcDriver17.jar

jar文件在安装目录的drivers/jdbc下面

image.png

配置dataSource

image.png

在Driver处理选择前面配置的驱动,最后输入用户名、密码、url,然后测试

image.png

打开数据源,创建一个新的窗口,就可以使用了

image.png

2.2 dbeaver 连接方式

在新版的 DBeaver 中不再支持 ODBC 连接,可能是因为 JDBC-ODBC 网桥已经从 Java 8 中移除。所以网络上的旧教程让使用 ODBC 连接就找不到了,下面是一个正确使用 DBeaver 连接 达梦(DaMeng) 数据库的方法。

2.2.1 在DBeaver中添加驱动程序配置

打开驱动程序管理器对话框,您可以从主菜单打开驱动程序管理器:

网络异常,图片无法展示
|

2.2.2 添加新驱动程序

只需单击“新建”按钮并创建一个新的驱动程序。在“驱动程序编辑”对话框中,您需要输入所有必需的信息:

网络异常,图片无法展示
|

我们填入驱动的名称、驱动包名(Class Name)、连接字符串模板(URL Template)、默认端口(Default Port),然后选择 Libraries,添加达梦的驱动Jar包,这个可以从下载的达梦安装包里找到。

网络异常,图片无法展示
|
网络异常,图片无法展示
|

其中:添加的达梦驱动Jar包,来源于达梦数据库安装后的目录中

DmJdbcDriver16.jar

2.2.3 新建一个 达梦(DaMeng) 连接

在新建界面中搜索我们添加的 DaMeng 连接,填入达梦数据库的地址、端口、账号、密码,点击完成:

网络异常,图片无法展示
|

image.png

到这里已经可以成功的连接并打开达梦数据库了:

网络异常,图片无法展示
|


3、达梦数据库datax数据归集

达梦数据的读配置文件:

"reader":{
"name":"rdbmsreader",
"parameter":{
"connection":[
            {
"querySql":[
"select test1  from  test_table1 "                ],
"jdbcUrl":[
"jdbc:dm://10.10.101.10:5236"                ]
            }
        ],
"username":"dm_test1",
"password":"123456789"    }
}

其他dataX使用与上一篇文章描述一致。


目录
相关文章
|
1月前
|
机器学习/深度学习 SQL 大数据
什么是数据集成?和数据融合有什么区别?
在大数据领域,“数据集成”与“数据融合”常被混淆。数据集成关注数据的物理集中,解决“数据从哪来”的问题;数据融合则侧重逻辑协同,解决“数据怎么用”的问题。两者相辅相成,集成是基础,融合是价值提升的关键。理解其差异,有助于企业释放数据潜力,避免“数据堆积”或“盲目融合”的误区,实现数据从成本到生产力的转变。
什么是数据集成?和数据融合有什么区别?
|
6月前
|
JSON 分布式计算 DataX
【YashanDB知识库】使用DataX工具迁移yashan数据到maxcompute
本文介绍使用崖山适配的DataX工具进行数据库迁移的方法,包括单表迁移和批量表迁移。单表迁移需配置json文件并执行同步命令;批量迁移则通过脚本自动化生成json配置文件并完成数据迁移,最后提供数据比对功能验证迁移结果。具体步骤涵盖连接信息配置、表清单获取、json文件生成、数据迁移执行及日志记录,确保数据一致性。相关工具和脚本简化了复杂迁移过程,提升效率。
|
9月前
|
人工智能 安全 DataX
【瓴羊数据荟】 Data x AI :大模型时代的数据治理创新实践 | 瓴羊数据Meet Up城市行第三期
第三期瓴羊数据Meetup 将于2025年1月3日在线上与大家见面,共同探讨AI时代的数据治理实践。
729 10
【瓴羊数据荟】 Data x  AI :大模型时代的数据治理创新实践 | 瓴羊数据Meet Up城市行第三期
|
SQL DataWorks 关系型数据库
DataWorks产品使用合集之数据集成时源头提供数据库自定义函数调用返回数据,数据源端是否可以写自定义SQL实现
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
DataWorks 安全 API
DataWorks产品使用合集之是否可以不使用DataWorks进行EMR的调度和DataX数据导入
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
数据采集 分布式计算 大数据
MaxCompute产品使用合集之数据集成中进行数据抽取时,是否可以定义使用和源数据库一样的字符集进行抽取
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
145 1
|
数据采集 SQL DataWorks
【颠覆想象的数据巨匠】DataWorks——远超Excel的全能数据集成与管理平台:一场电商数据蜕变之旅的大揭秘!
【8月更文挑战第7天】随着大数据技术的发展,企业对数据处理的需求日益增长。DataWorks作为阿里云提供的数据集成与管理平台,为企业提供从数据采集、清洗、加工到应用的一站式解决方案。不同于桌面级工具如Excel,DataWorks具备强大的数据处理能力和丰富的功能集,支持大规模数据处理任务。本文通过电商平台案例,展示了如何使用DataWorks构建数据处理流程,包括多源数据接入、SQL任务实现数据采集、数据清洗加工以提高质量,以及利用分析工具挖掘数据价值的过程。这不仅凸显了DataWorks在大数据处理中的核心功能与优势,还展示了其相较于传统工具的高扩展性和灵活性。
339 0
|
6月前
|
SQL 弹性计算 DataWorks
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
Flink CDC 在阿里云 DataWorks 数据集成入湖场景的应用实践
278 6
|
6月前
|
DataWorks 关系型数据库 Serverless
DataWorks数据集成同步至Hologres能力介绍
本文由DataWorks PD王喆分享,介绍DataWorks数据集成同步至Hologres的能力。DataWorks提供低成本、高效率的全场景数据同步方案,支持离线与实时同步。通过Serverless资源组,实现灵活付费与动态扩缩容,提升隔离性和安全性。文章还详细演示了MySQL和ClickHouse整库同步至Hologres的过程。
|
数据采集 DataWorks 监控
DataWorks产品使用合集之数据集成并发数不支持批量修改,该怎么办
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
158 0

热门文章

最新文章