开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks远程机器上的python脚本依赖一些环境还是可以直接使用啊?

问题1:远程机器上的python脚本依赖一些环境(如远程机器本地的python环境,还有远程机器本地的一些数据文件),看shell节点,是需要将资源先上传到dataworks,那么这些python中依赖的远程机器本地的环境和数据文件,也要一起上传到dataworks? 还是可以直接使用啊?image.png
问题2:也就是说要将该pythoin依赖的一切都重新上传到dataworks? 如该python依赖一系列文件,conf, lib,data,bin,这些全部要上传到dataworks?

展开
收起
cuicuicuic 2023-08-27 14:26:44 55 0
1 条回答
写回答
取消 提交回答
  • 回答1:需要上传到dataworks上 第三方包的话 需要在独享调度资源组机器上安装,怎么调在PyODPS任务中调用第三方包?
    方法一:如果您的是source文件,没有压缩,您可以参考下面文档:https://help.aliyun.com/document_detail/94159.html
    方法二:在odps使用自定义函数及Python第三方库 https://help.aliyun.com/document_detail/90716.html
    回答2:如果要运行在 dataworks的独享调度资源组上 涉及到的资源文件就需要上传为dw的资源 ,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-27 15:43:36
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    From Python Scikit-Learn to Sc 立即下载
    Data Pre-Processing in Python: 立即下载
    双剑合璧-Python和大数据计算平台的结合 立即下载