【YashanDB 知识库】DolphinScheduler 适配崖山 Python 驱动

简介: 本文来自YashanDB官网,介绍如何将DolphinScheduler调度器适配崖山Python驱动,实现通过Python任务访问崖山数据库。环境要求包括DolphinScheduler 3.1.9、Python 3.9及YashanDB 23.2.2.100。操作步骤涵盖安装YashanDB客户端、配置环境变量、安装Python驱动以及设置DolphinScheduler相关参数,助力用户高效集成与使用。

本文内容来自YashanDB官网,原文内容请见https://www.yashandb.com/newsinfo/7396982.html?templateId=1718516

概述
本文主要介绍DolphinScheduler调度器适配崖山Python驱动,支持在DolphinScheduler上通过python任务访问崖山数据库。

环境
DolphinScheduler版本:3.1.9
Python版本:3.9
YashanDB版本:23.2.2.100
YashanDB Python驱动版本:yaspy-1.0.0-cp39-cp39-linux_x86_64

操作步骤
安装YashanDB客户端

Step1:根据YashanDB软件包清单获取对应的软件包,以yashandb-client-23.2-linux-x86_64.tar.gz为例。

Step2:将yashandb-client-23.2-linux-x86_64.tar.gz上传至本地路径(以/home/yasdb/yashandb_client为例),并解压。
$ cd /home/yasdb/yashandb_client
$ tar -zxf yashandb-client-23.2-linux-x86_64.tar.gz
查看解压后内容。
$ ll
drwxrwxr-x. 2 yasdb yasdb 19 Feb 8 00:01 bin
drwxrwxr-x. 2 yasdb yasdb 21 Feb 8 00:01 include
drwxrwxr-x. 2 yasdb yasdb 4096 Feb 8 00:01 lib

Step3:在~/.bashrc中配置PATH和LD_LIBRARY_PATH。
$ vi ~/.bashrc
export PATH=$PATH:/home/yasdb/yashandb_client/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yasdb/yashandb_client/lib

Step4:生效环境变量。
$ source ~/.bashrc

安装YashanDB Python驱动
pip3 install yaspy-1.0.0-cp36-cp36m-linux_x86_64.whl

设置DolphinScheduler环境变量
vi apache-dolphinscheduler-3.1.9-bin/bin/env/dolphinscheduler_env.sh
修改环境变量:
export PATH=$HADOOP_HOME/bin:$SPARK_HOME1/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$FLINK_HOME/bin:$DATAX_HOME/bin:$SEATUNNEL_HOME/bin:$CHUNJUN_HOME/bin:/home/yasdb/yashandb_client/bin:$PATH
新增环境变量:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yasdb/yashandb_client/lib
修改完保存退出即可。

相关文章
|
5月前
|
数据采集 数据可视化 API
驱动业务决策:基于Python的App用户行为分析与可视化方案
驱动业务决策:基于Python的App用户行为分析与可视化方案
|
10月前
|
SQL DataX HIVE
【YashanDB知识库】DataX迁移Hive到崖山分布式
本文来自YashanDB官网,介绍通过DataX将Hive数据迁移到YashanDB的实现方法。源环境为Hive 3.1.3,目标为YashanDB 23.2.3.100。文章提供了Hive与YashanDB的建表脚本、数据类型映射及DataX配置示例,包含reader和writer插件参数设置,并通过`datax.py`执行同步任务。内容详尽展示了数据迁移的全流程。
【YashanDB知识库】DataX迁移Hive到崖山分布式
|
10月前
|
Oracle 关系型数据库 Java
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
本文介绍通过Flink CDC实现Oracle数据实时同步至崖山数据库(YashanDB)的方法,支持全量与增量同步,并涵盖新增、修改和删除的DML操作。内容包括环境准备(如JDK、Flink版本等)、Oracle日志归档启用、用户权限配置、增量日志记录设置、元数据迁移、Flink安装与配置、生成Flink SQL文件、Streampark部署,以及创建和启动实时同步任务的具体步骤。适合需要跨数据库实时同步方案的技术人员参考。
【YashanDB知识库】Flink CDC实时同步Oracle数据到崖山
|
10月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
|
10月前
|
Java 数据库连接
【YashanDB知识库】Springboot启动找不到崖山jdbc驱动的问题处理
本文来自YashanDB官网,主要解决SpringBoot应用启动时出现“找不到崖山JDBC驱动”的问题,尽管lib目录下已有yashandb-jdbc-1.6.9.jar文件。错误信息显示`java.lang.ClassNotFoundException: com.yashandb.jdbc.Driver`。解决方案为:通过`which java`等命令定位Java安装路径,将驱动jar包复制到JRE的`lib/ext`目录下,最后重启应用即可。
|
10月前
|
SQL Oracle 关系型数据库
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
本文来自YashanDB官网,介绍如何处理Oracle客户端sql*plus中使用@@调用同级目录SQL脚本的场景。崖山数据库23.2.x.100已支持@@用法,但旧版本可通过Python脚本批量重写SQL文件,将@@替换为绝对路径。文章通过Oracle示例展示了具体用法,并提供Python脚本实现自动化处理,最后调整批处理脚本以适配YashanDB运行环境。
|
4月前
|
数据采集 机器学习/深度学习 人工智能
Python:现代编程的首选语言
Python:现代编程的首选语言
342 102
|
4月前
|
数据采集 机器学习/深度学习 算法框架/工具
Python:现代编程的瑞士军刀
Python:现代编程的瑞士军刀
364 104
|
4月前
|
人工智能 自然语言处理 算法框架/工具
Python:现代编程的首选语言
Python:现代编程的首选语言
291 103
|
4月前
|
机器学习/深度学习 人工智能 数据挖掘
Python:现代编程的首选语言
Python:现代编程的首选语言
215 82

推荐镜像

更多