【YashanDB 知识库】DolphinScheduler 适配崖山 Python 驱动

简介: 本文来自YashanDB官网,介绍如何将DolphinScheduler调度器适配崖山Python驱动,实现通过Python任务访问崖山数据库。环境要求包括DolphinScheduler 3.1.9、Python 3.9及YashanDB 23.2.2.100。操作步骤涵盖安装YashanDB客户端、配置环境变量、安装Python驱动以及设置DolphinScheduler相关参数,助力用户高效集成与使用。

本文内容来自YashanDB官网,原文内容请见https://www.yashandb.com/newsinfo/7396982.html?templateId=1718516

概述
本文主要介绍DolphinScheduler调度器适配崖山Python驱动,支持在DolphinScheduler上通过python任务访问崖山数据库。

环境
DolphinScheduler版本:3.1.9
Python版本:3.9
YashanDB版本:23.2.2.100
YashanDB Python驱动版本:yaspy-1.0.0-cp39-cp39-linux_x86_64

操作步骤
安装YashanDB客户端

Step1:根据YashanDB软件包清单获取对应的软件包,以yashandb-client-23.2-linux-x86_64.tar.gz为例。

Step2:将yashandb-client-23.2-linux-x86_64.tar.gz上传至本地路径(以/home/yasdb/yashandb_client为例),并解压。
cd/home/yasdb/yashandbclient tar -zxf yashandb-client-23.2-linux-x86_64.tar.gz
查看解压后内容。
$ ll
drwxrwxr-x. 2 yasdb yasdb 19 Feb 8 00:01 bin
drwxrwxr-x. 2 yasdb yasdb 21 Feb 8 00:01 include
drwxrwxr-x. 2 yasdb yasdb 4096 Feb 8 00:01 lib

Step3:在~/.bashrc中配置PATH和LD_LIBRARY_PATH。
vi /.bashrcexportPATH=PATH:/home/yasdb/yashandb_client/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yasdb/yashandb_client/lib

Step4:生效环境变量。
$ source ~/.bashrc

安装YashanDB Python驱动
pip3 install yaspy-1.0.0-cp36-cp36m-linux_x86_64.whl

设置DolphinScheduler环境变量
vi apache-dolphinscheduler-3.1.9-bin/bin/env/dolphinscheduler_env.sh
修改环境变量:
export PATH=HADOOPHOME/bin:SPARK_HOME1/bin:SPARKHOME2/bin:PYTHON_HOME/bin:JAVAHOME/bin:HIVE_HOME/bin:FLINKHOME/bin:DATAX_HOME/bin:SEATUNNELHOME/bin:CHUNJUN_HOME/bin:/home/yasdb/yashandb_client/bin:PATHexportLDLIBRARYPATH=LD_LIBRARY_PATH:/home/yasdb/yashandb_client/lib
修改完保存退出即可。

目录
打赏
0
3
3
0
98
分享
相关文章
【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法
【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法
【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警
【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
【YashanDB知识库】共享利用Python脚本解决Oracle的SQL脚本@@用法
【YashanDB知识库】服务器重启后启动yasom和yasagent进程时有告警
本文介绍了YashanDB在特定场景下的问题分析与解决方法。当使用yasboot重启数据库后,yasom和yasagent进程虽启动成功但出现告警,原因是缺少libnsl.so.1库文件或环境变量配置错误。解决步骤包括:检查系统中是否存在该库文件,若不存在则根据操作系统类型安装(有外网时通过yum或apt,无外网时创建符号链接),若存在则调整环境变量配置,并重新启动相关进程验证问题是否解决。
【YashanDB知识库】共享从 MySQL异常处理CONTINUE HANDLER的改写方法
本文介绍了MySQL中`CONTINUE HANDLER FOR NOT FOUND`的用法及其在YashanDB中的改写方法。通过一个示例存储过程,展示了如何使用游标和异常处理机制来应对“未找到数据”的情况。在MySQL中,`CONTINUE HANDLER`用于捕获此类异常;而在YashanDB中,则需改用游标的`%NOTFOUND`属性和`NO_DATA_FOUND`异常处理。文章对比了两者的执行效果,帮助用户顺利完成从MySQL到YashanDB的业务迁移。
【YashanDB知识库】共享超过32000字节字符串插入CLOB类型方案
本文来自YashanDB官网,介绍了解决向崖山数据库CLOB类型字段插入超过32000字节字符串时出现的YAS-04107错误的方法。通过JDBC动态变量绑定技术,实现对不同表的超长字符串插入支持。方案基于YashanDB JDBC和Druid组件,动态解析SQL语句并绑定变量,提供通用性。文章包含关键代码示例及程序使用说明,需JDK 1.8环境运行,并提供附件下载以辅助实施。
【YashanDB知识库】MySQL和YashanDB 隐式转换不一致引起的报错
本文分析了在YashanDB中执行特定SQL语句时出现的类型转换错误问题,并对比了YashanDB、Oracle和MySQL 5.7的行为差异。问题源于隐式类型转换,当数值字段与非法数字字符串(如'1,2')进行比较时,YashanDB和Oracle会报错,而MySQL 5.7虽不报错但会引发警告。通过调整SQL语句,避免数值与字符串直接比较,可有效解决问题。文章还详细解析了不同值表现不一致的原因,涉及执行计划和过滤条件的实际运行细节。
【YashanDB知识库】数据库升级后用yasboot在线扩充备节点出现报错
本文来自YashanDB官网,讨论从22.2.4.1升级至23.2.2.100过程中遇到的在线扩容问题。使用yasboot增加备节点时出现“no replication addr in node 1-1”错误,尽管数据库中存在相关配置。原因是早期托管功能未支持扩容,导致OM无法获取新库配置。提供两种规避方法:一是手动修改`cod_domor.db`信息并调整配置文件;二是手动安装YashanDB并配置备机。最终已向研发反馈,将在扩容时优化配置检查逻辑。
【YashanDB 知识库】从 PostgreSQL 迁移到 YashanDB 如何进行数据行数比对
【YashanDB 知识库】从 PostgreSQL 迁移到 YashanDB 如何进行数据行数比对
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等