DataWorks_赋值节点三种赋值语言+数据库节点MySQL、三种取值方式使用案例

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
云数据库 RDS MySQL,高可用系列 2核4GB
简介: DataWorks_赋值节点三种赋值语言+数据库节点MySQL、三种取值方式使用案例

注:整个测试用例截图。

FF96D2AB-44AC-413c-872C-82C2741EBD16.png


使用说明

赋值语言

outputs取值

outputs参数格式

outputs参数大小限制

赋值节点:ODPS SQL

最后一行SELECT语句的输出作为赋值参数,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果作为一个二维数组传递至下游。

传递值最大为2 MB。如果赋值语句的输出结果超过该限制,赋值节点会运行失败。

赋值节点:SHELL

最后一行ECHO语句的数据,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果基于逗号(,)分割为一维数组。

赋值节点:PYTHON(python2)

最后一行PRINT语句的输出,添加为赋值节点的本节点输出参数,供其他节点引用。

将输出结果基于逗号(,)分割为一维数组。

数据库节点:MySQL

最后一行SELECT语句的输出作为赋值参数,添加为赋值传参的输出参数,供其他节点引用。

将输出结果作为一个二维数组传递至下游。


使用案例

赋值语言

赋值节点outputs取值

赋值节点调度配置

下游节点调度配置

下游节点取值方式

下游节点返回结果

赋值节点:ODPS SQL

SELECT * FROM fuzhi_tb;

fuzhi_tb表内容如下:

step1:调度配置-节点上下文默认会生成一个本节点输出参数ouputs;

step2:提交节点。

以上游赋值节点赋值语言为ODPS SQL的为例

step1:依赖上游赋值节点;

step2:节点上下文添加本节点输入参数,参数取名为inputs_odps_sql。

下游为ODPS SQL节点:

SELECT '${inputs_odps_sql[0][0]}';

Hello

下游为shell节点:

echo '${inputs_odps_sql[0][0]}';

下游为pyodps3节点:

print ('${inputs_odps_sql[0][0]}')

赋值节点:SHELL

echo 'Data','我是赋值节点2赋值语言shell';

下游为ODPS SQL节点:
SELECT '${inputs_shell[0]}';

Data

下游为shell节点:

echo '${inputs_shell[0]}';

下游为pyodps3节点:

print ('${inputs_shell[0]}')

赋值节点:PYTHON(python2)

print "Works!,我是赋值节点3赋值语言是python"

下游为ODPS SQL节点:

SELECT '${inputs_python[0]}';

Works!

下游为shell节点:

echo '${inputs_python[0]}';

下游为pyodps3节点:

print ('${inputs_python[0]}')

数据库节点:MySQL

SELECT * from `fuzhi_tb`;

fuzhi_tb表内容如下:

step1:调度配置-节点上下文-本节点输出参数添加赋值参数,默认会添加名为outputs的参数;

step2:提交节点。

下游为ODPS SQL节点:

SELECT '${inputs_mysql[0][0]}';

Hello

下游为shell节点:

echo '${inputs_mysql[0][0]}';

下游为pyodps3节点:

print ('${inputs_mysql[0][0]}');

若有收获,就点个赞吧

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
相关文章
|
3天前
|
存储 关系型数据库 MySQL
10个案例告诉你mysql不使用子查询的原因
大家好,我是V哥。上周与朋友讨论数据库子查询问题,深受启发。为此,我整理了10个案例,详细说明如何通过优化子查询提升MySQL性能。主要问题包括性能瓶颈、索引失效、查询优化器复杂度及数据传输开销等。解决方案涵盖使用EXISTS、JOIN、IN操作符、窗口函数、临时表及索引优化等。希望通过这些案例,帮助大家在实际开发中选择更高效的查询方式,提升系统性能。关注V哥,一起探讨技术,欢迎点赞支持!
|
3天前
|
存储 Oracle 关系型数据库
数据库传奇:MySQL创世之父的两千金My、Maria
《数据库传奇:MySQL创世之父的两千金My、Maria》介绍了MySQL的发展历程及其分支MariaDB。MySQL由Michael Widenius等人于1994年创建,现归Oracle所有,广泛应用于阿里巴巴、腾讯等企业。2009年,Widenius因担心Oracle收购影响MySQL的开源性,创建了MariaDB,提供额外功能和改进。维基百科、Google等已逐步替换为MariaDB,以确保更好的性能和社区支持。掌握MariaDB作为备用方案,对未来发展至关重要。
13 3
|
3天前
|
安全 关系型数据库 MySQL
MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!
《MySQL崩溃保险箱:探秘Redo/Undo日志确保数据库安全无忧!》介绍了MySQL中的三种关键日志:二进制日志(Binary Log)、重做日志(Redo Log)和撤销日志(Undo Log)。这些日志确保了数据库的ACID特性,即原子性、一致性、隔离性和持久性。Redo Log记录数据页的物理修改,保证事务持久性;Undo Log记录事务的逆操作,支持回滚和多版本并发控制(MVCC)。文章还详细对比了InnoDB和MyISAM存储引擎在事务支持、锁定机制、并发性等方面的差异,强调了InnoDB在高并发和事务处理中的优势。通过这些机制,MySQL能够在事务执行、崩溃和恢复过程中保持
19 3
|
3天前
|
SQL 关系型数据库 MySQL
数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog
《数据库灾难应对:MySQL误删除数据的救赎之道,技巧get起来!之binlog》介绍了如何利用MySQL的二进制日志(Binlog)恢复误删除的数据。主要内容包括: 1. **启用二进制日志**:在`my.cnf`中配置`log-bin`并重启MySQL服务。 2. **查看二进制日志文件**:使用`SHOW VARIABLES LIKE 'log_%';`和`SHOW MASTER STATUS;`命令获取当前日志文件及位置。 3. **创建数据备份**:确保在恢复前已有备份,以防意外。 4. **导出二进制日志为SQL语句**:使用`mysqlbinlog`
22 2
|
17天前
|
关系型数据库 MySQL 数据库
Python处理数据库:MySQL与SQLite详解 | python小知识
本文详细介绍了如何使用Python操作MySQL和SQLite数据库,包括安装必要的库、连接数据库、执行增删改查等基本操作,适合初学者快速上手。
117 15
|
10天前
|
SQL 关系型数据库 MySQL
数据库数据恢复—Mysql数据库表记录丢失的数据恢复方案
Mysql数据库故障: Mysql数据库表记录丢失。 Mysql数据库故障表现: 1、Mysql数据库表中无任何数据或只有部分数据。 2、客户端无法查询到完整的信息。
|
17天前
|
关系型数据库 MySQL 数据库
数据库数据恢复—MYSQL数据库文件损坏的数据恢复案例
mysql数据库文件ibdata1、MYI、MYD损坏。 故障表现:1、数据库无法进行查询等操作;2、使用mysqlcheck和myisamchk无法修复数据库。
|
21天前
|
SQL 关系型数据库 MySQL
MySQL导入.sql文件后数据库乱码问题
本文分析了导入.sql文件后数据库备注出现乱码的原因,包括字符集不匹配、备注内容编码问题及MySQL版本或配置问题,并提供了详细的解决步骤,如检查和统一字符集设置、修改客户端连接方式、检查MySQL配置等,确保导入过程顺利。
|
27天前
|
SQL 数据库
GBase8a 数据库集群v953扩容案例问题分享
GBase8a 数据库集群v953扩容案例问题分享
|
27天前
|
SQL 数据库
gbase 8a 数据库 SQL优化案例-关联顺序优化
gbase 8a 数据库 SQL优化案例-关联顺序优化