DataWorks远程机器上的python脚本依赖一些环境还是可以直接使用啊?

问题1:远程机器上的python脚本依赖一些环境(如远程机器本地的python环境,还有远程机器本地的一些数据文件),看shell节点,是需要将资源先上传到dataworks,那么这些python中依赖的远程机器本地的环境和数据文件,也要一起上传到dataworks? 还是可以直接使用啊?image.png
问题2:也就是说要将该pythoin依赖的一切都重新上传到dataworks? 如该python依赖一系列文件,conf, lib,data,bin,这些全部要上传到dataworks?

展开
收起
真的很搞笑 2023-08-27 14:26:44 82 发布于黑龙江 分享
分享
版权
举报
1 条回答
写回答
取消 提交回答
  • 回答1:需要上传到dataworks上 第三方包的话 需要在独享调度资源组机器上安装,怎么调在PyODPS任务中调用第三方包?
    方法一:如果您的是source文件,没有压缩,您可以参考下面文档:https://help.aliyun.com/document_detail/94159.html
    方法二:在odps使用自定义函数及Python第三方库 https://help.aliyun.com/document_detail/90716.html
    回答2:如果要运行在 dataworks的独享调度资源组上 涉及到的资源文件就需要上传为dw的资源 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 15:43:36 举报
    赞同 评论

    评论

    全部评论 (0)

    登录后可评论

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

还有其他疑问?
咨询AI助理