DataWorks中pyodps3节点如何继承流程参数?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中,可以通过以下步骤来继承流程参数:
config.json
)中添加以下代码,以继承上一个节点的参数:{
"parameters": {
"project_id": "${project_id}",
"table_name": "${table_name}",
"start_row": "${start_row}",
"end_row": "${end_row}"
},
...
}
其中,project_id
、table_name
、start_row
和end_row
是上一个节点的参数。这里使用${}
语法将这些参数从上一个节点继承过来。
from pyodps.context import Context
import pyodps
# 创建ODPS数据表对象
ctx = Context.get_context()
client = ctx.get_client()
table = client.get_table(table_name)
# 获取上一个节点传递下来的参数值
project_id = ctx.get_project_id()
table_name = ctx.get_param("table_name")
start_row = ctx.get_param("start_row")
end_row = ctx.get_param("end_row")
# 执行数据处理操作
...
通过这种方式,可以在pyodps3节点中继承上一个节点的参数,并在代码中使用这些参数进行数据处理操作。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。