DataWorks如何创建PyODPS 3节点创建PyODPS 3节点?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks中创建PyODPS 3节点需要以下步骤:
在DataWorks项目中创建一个ODPS连接器。在连接器配置页面,您需要填写相应的连接信息,例如连接名称、Endpoint、AccessKey ID、Access Key Secret等。
创建一个PyODPS 3节点。在DataStudio页面,选择您的项目,转到“开发”>“数据开发”>“新建”>“PyODPS 3节点”。在创建节点页面上,您需要配置节点的基本信息和脚本内容。
在PyODPS 3节点中配置ODPS连接器。在节点编辑器页面中,您需要选择之前创建的ODPS连接器,用于执行PyODPS的操作。
编写PyODPS脚本,并在节点编辑器中添加。在节点编辑器页面中,您可以使用PyODPS API编写脚本,用于处理ODPS中的数据。
调度PyODPS 3节点的运行。在节点编辑器页面中,单击“保存”按钮,并使用DataWorks的调度功能,设置节点的运行计划。
启动PyODPS 3节点的运行。在“任务列表”页面上,单击节点名称进入节点详情页,单击“手动运行”按钮开启运行。
以上是在DataWorks中创建PyODPS 3节点的基本步骤,您可以根据需要进行修改和扩展。
进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。鼠标悬停至 图标,单击MaxCompute > PyODPS 3。您也可以展开业务流程目录下的目标业务流程,右键单击MaxCompute,选择新建 > PyODPS 3。如果您需要创建业务流程,请参见创建业务流程。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交。编辑并执行PyODPS 3节点。例如,您在使用execute_sql接口时,需要手动设置SQL运行参数。详情请参见执行SQL。hints={'odps.sql.python.version': 'cp37', 'odps.isolation.session.enable': True}当您使用DataFrame自定义函数(df.map、df.map_reduce、df.apply和df.agg)时,请进行如下设置。hints={'odps.isolation.session.enable': True}PyODPS会根据客户端使用的Python版本决定UDF的运行环境,提交SQL查询语句。例如,通过公共Python UDF执行DataFrame,在客户端使用Python 3时,会根据Python 3进行解释。如果相应的UDF使用print语句等Python 2特有的语法或库,执行语句会报ScriptError的错误。如果您需要在PyODPS 2节点中调用第三方包,请参见在PyODPS节点中调用第三方包。单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见基础属性。保存并提交节点。注意 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。单击工具栏中的
图标,保存节点。单击工具栏中的https://help-static-aliyu https://help.aliyun.com/document_detail/201518.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。