DataWorks_赋值节点三种赋值语言+数据库节点MySQL、三种取值方式使用案例

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: DataWorks_赋值节点三种赋值语言+数据库节点MySQL、三种取值方式使用案例

注:整个测试用例截图。

FF96D2AB-44AC-413c-872C-82C2741EBD16.png


使用说明

赋值语言

outputs取值

outputs参数格式

outputs参数大小限制

赋值节点:ODPS SQL

最后一行SELECT语句的输出作为赋值参数,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果作为一个二维数组传递至下游。

传递值最大为2 MB。如果赋值语句的输出结果超过该限制,赋值节点会运行失败。

赋值节点:SHELL

最后一行ECHO语句的数据,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果基于逗号(,)分割为一维数组。

赋值节点:PYTHON(python2)

最后一行PRINT语句的输出,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果基于逗号(,)分割为一维数组。

数据库节点:MySQL

最后一行SELECT语句的输出作为赋值参数,添加为赋值传参的输出参数,供其他节点引用。

将输出结果作为一个二维数组传递至下游。


使用案例

赋值语言

赋值节点outputs取值

赋值节点调度配置

下游节点调度配置

下游节点取值方式

下游节点返回结果

赋值节点:ODPS SQL

SELECT * FROM fuzhi_tb;

fuzhi_tb表内容如下:

step1:调度配置-节点上下文默认会生成一个本节点输出参数ouputs;

step2:提交节点。

以上游赋值节点赋值语言为ODPS SQL的为例

step1:依赖上游赋值节点;

step2:节点上下文添加本节点输入参数,参数取名为inputs_odps_sql。

下游为ODPS SQL节点:

SELECT '${inputs_odps_sql[0][0]}';

Hello

下游为shell节点:

echo '${inputs_odps_sql[0][0]}';

下游为pyodps3节点:

print ('${inputs_odps_sql[0][0]}')

赋值节点:SHELL

echo 'Data','我是赋值节点2赋值语言shell';

下游为ODPS SQL节点:
SELECT '${inputs_shell[0]}';

Data

下游为shell节点:

echo '${inputs_shell[0]}';

下游为pyodps3节点:

print ('${inputs_shell[0]}')

赋值节点:PYTHON(python2)

print "Works!,我是赋值节点3赋值语言是python"

下游为ODPS SQL节点:

SELECT '${inputs_python[0]}';

Works!

下游为shell节点:

echo '${inputs_python[0]}';

下游为pyodps3节点:

print ('${inputs_python[0]}')

数据库节点:MySQL

SELECT * from `fuzhi_tb`;

fuzhi_tb表内容如下:

step1:调度配置-节点上下文-本节点输出参数添加赋值参数,默认会添加名为outputs的参数;

step2:提交节点。

下游为ODPS SQL节点:

SELECT '${inputs_mysql[0][0]}';

Hello

下游为shell节点:

echo '${inputs_mysql[0][0]}';

下游为pyodps3节点:

print ('${inputs_mysql[0][0]}');

若有收获,就点个赞吧

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
28天前
|
数据库 Windows
SqlServer数据恢复—SqlServer数据库所在分区损坏的数据恢复案例
一块硬盘上存放的SqlServer数据库,windows server操作系统+NTFS文件系统。由于误操作导致分区损坏,需要恢复硬盘里的SqlServer数据库数据。
|
2月前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。
|
3月前
|
SQL 数据库
GBase8a 数据库集群v953扩容案例问题分享
GBase8a 数据库集群v953扩容案例问题分享
|
3月前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化
|
3月前
|
存储 SQL 数据库
Sybase数据恢复—Sybase数据库常见问题之数据库无法启动的恢复案例
Sybase数据库数据恢复环境: Sybase数据库版本:SQL Anywhere 8.0。 Sybase数据库故障&分析: Sybase数据库无法启动。 使用Sybase Central连接报错。 数据库数据恢复工程师经过检测,发现Sybase数据库出现故障的原因是:异常断电造成Sybase数据库无法回写正常数据,导致多个存储页数据不一致,系统表描述和存储表不一致,部分存储页底层数据完全杂乱。
|
3月前
|
Oracle 关系型数据库 数据库
Oracle数据恢复—Oracle数据库文件有坏快损坏的数据恢复案例
一台Oracle数据库打开报错,报错信息: “system01.dbf需要更多的恢复来保持一致性,数据库无法打开”。管理员联系我们数据恢复中心寻求帮助,并提供了Oracle_Home目录的所有文件。用户方要求恢复zxfg用户下的数据。 由于数据库没有备份,无法通过备份去恢复数据库。
|
3月前
|
存储 Oracle 关系型数据库
oracle数据恢复—Oracle数据库文件大小变为0kb的数据恢复案例
存储掉盘超过上限,lun无法识别。管理员重组存储的位图信息并导出lun,发现linux操作系统上部署的oracle数据库中有上百个数据文件的大小变为0kb。数据库的大小缩水了80%以上。 取出&并分析oracle数据库的控制文件。重组存储位图信息,重新导出控制文件中记录的数据文件,发现这些文件的大小依然为0kb。
|
2月前
|
存储 Oracle 关系型数据库
服务器数据恢复—华为S5300存储Oracle数据库恢复案例
服务器存储数据恢复环境: 华为S5300存储中有12块FC硬盘,其中11块硬盘作为数据盘组建了一组RAID5阵列,剩下的1块硬盘作为热备盘使用。基于RAID的LUN分配给linux操作系统使用,存放的数据主要是Oracle数据库。 服务器存储故障: RAID5阵列中1块硬盘出现故障离线,热备盘自动激活开始同步数据,在同步数据的过程中又一块硬盘离线,RAID5阵列瘫痪,上层LUN无法使用。
|
3月前
|
存储 Java 关系型数据库
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践
在Java开发中,数据库连接是应用与数据交互的关键环节。本文通过案例分析,深入探讨Java连接池的原理与最佳实践,包括连接创建、分配、复用和释放等操作,并通过电商应用实例展示了如何选择合适的连接池库(如HikariCP)和配置参数,实现高效、稳定的数据库连接管理。
88 2
|
3月前
|
分布式计算 DataWorks 数据处理
"DataWorks高级技巧揭秘:手把手教你如何在PyODPS节点中将模型一键写入OSS,实现数据处理的完美闭环!"
【10月更文挑战第23天】DataWorks是企业级的云数据开发管理平台,支持强大的数据处理和分析功能。通过PyODPS节点,用户可以编写Python代码执行ODPS任务。本文介绍了如何在DataWorks中训练模型并将其保存到OSS的详细步骤和示例代码,包括初始化ODPS和OSS服务、读取数据、训练模型、保存模型到OSS等关键步骤。
212 3