DataWorks如何创建PyODPS 3节点创建PyODPS 3节点?

DataWorks如何创建PyODPS 3节点创建PyODPS 3节点?

展开
收起
芯在这 2023-04-19 23:57:01 249 分享 版权
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    在DataWorks中创建PyODPS 3节点需要以下步骤:

    1. 在DataWorks项目中创建一个ODPS连接器。在连接器配置页面,您需要填写相应的连接信息,例如连接名称、Endpoint、AccessKey ID、Access Key Secret等。

    2. 创建一个PyODPS 3节点。在DataStudio页面,选择您的项目,转到“开发”>“数据开发”>“新建”>“PyODPS 3节点”。在创建节点页面上,您需要配置节点的基本信息和脚本内容。

    3. 在PyODPS 3节点中配置ODPS连接器。在节点编辑器页面中,您需要选择之前创建的ODPS连接器,用于执行PyODPS的操作。

    4. 编写PyODPS脚本,并在节点编辑器中添加。在节点编辑器页面中,您可以使用PyODPS API编写脚本,用于处理ODPS中的数据。

    5. 调度PyODPS 3节点的运行。在节点编辑器页面中,单击“保存”按钮,并使用DataWorks的调度功能,设置节点的运行计划。

    6. 启动PyODPS 3节点的运行。在“任务列表”页面上,单击节点名称进入节点详情页,单击“手动运行”按钮开启运行。

    以上是在DataWorks中创建PyODPS 3节点的基本步骤,您可以根据需要进行修改和扩展。

    2023-04-30 23:53:12
    赞同 展开评论
  • 进入数据开发页面。登录DataWorks控制台。在左侧导航栏,单击工作空间列表。选择工作空间所在地域后,单击相应工作空间后的进入数据开发。鼠标悬停至image.png 图标,单击MaxCompute > PyODPS 3。您也可以展开业务流程目录下的目标业务流程,右键单击MaxCompute,选择新建 > PyODPS 3。如果您需要创建业务流程,请参见创建业务流程。在新建节点对话框中,输入节点名称,并选择目标文件夹。说明 节点名称必须是大小写字母、中文、数字、下划线(_)和小数点(.),且不能超过128个字符。单击提交。编辑并执行PyODPS 3节点。例如,您在使用execute_sql接口时,需要手动设置SQL运行参数。详情请参见执行SQL。hints={'odps.sql.python.version': 'cp37', 'odps.isolation.session.enable': True}当您使用DataFrame自定义函数(df.map、df.map_reduce、df.apply和df.agg)时,请进行如下设置。hints={'odps.isolation.session.enable': True}PyODPS会根据客户端使用的Python版本决定UDF的运行环境,提交SQL查询语句。例如,通过公共Python UDF执行DataFrame,在客户端使用Python 3时,会根据Python 3进行解释。如果相应的UDF使用print语句等Python 2特有的语法或库,执行语句会报ScriptError的错误。如果您需要在PyODPS 2节点中调用第三方包,请参见在PyODPS节点中调用第三方包。单击节点编辑区域右侧的调度配置,配置节点的调度属性,详情请参见基础属性。保存并提交节点。注意 您需要设置节点的重跑属性和依赖的上游节点,才可以提交节点。单击工具栏中的image.png 图标,保存节点。单击工具栏中的https://help-static-aliyu https://help.aliyun.com/document_detail/201518.html,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-20 11:09:47
    赞同 展开评论
  • 可以参考官方文档——创建PyODPS 3节点image.png

    2023-04-20 08:17:49
    赞同 展开评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

收录在圈子:
+ 订阅
还有其他疑问?
咨询AI助理