开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks私有云第三方包可以通过pip命令下载吗?

DataWorks私有云第三方包可以通过pip命令下载吗?

展开
收起
cuicuicuic 2023-12-10 19:47:06 42 0
3 条回答
写回答
取消 提交回答
  • 在PyODPS节点中调用第三方包仅支持使用独享调度资源组。

    https://help.aliyun.com/zh/dataworks/use-cases/use-a-pyodps-node-to-reference-a-third-party-package?spm=a2c4g.11186623.0.i150
    使用限制
    在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组,详情请参见独享调度资源组。
    DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB,该操作受限于DataWorks执行资源的不同规格(包括公共调度资源组和独享调度资源组),处理的本地数据过多并超出操作系统阈值时可能发生OOM(Got killed)错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。
    如果您发现有Got killed报错,即表明内存使用超限,进程被中止。因此,请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务(除to_pandas外)不受此限制。
    非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。
    由于兼容性原因,在DataWorks中,options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel,需要手动将该值设置为True。

    2023-12-11 14:16:43
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks私有云中,您可以使用pip命令来下载第三方包。然而,这需要您先申请独立资源组。具体来说,您需要在独享资源组的运维资源中进行包安装,操作命令为/home/tops/bin/pip install package-name

    需要注意的是,虽然pip是Python官方推荐的包管理器,可以方便地下载和管理第三方库,但在DataWorks环境中,由于网络和权限等限制,直接使用pip命令可能会遇到问题。因此,推荐您按照DataWorks的官方指导进行操作,以确保过程的顺利进行。

    2023-12-11 10:11:40
    赞同 展开评论 打赏
  • 在 DataWorks 私有云环境中,默认情况下是无法直接通过 pip 命令下载安装第三方包的。DataWorks私有云环境一般会限制外部网络访问和软件安装,以确保环境的稳定和安全。

    如果您需要在 DataWorks 私有云环境中使用特定的第三方包,您可以考虑以下几种解决方案:

    1. 离线安装:如果您已经在其他环境中成功安装了所需的第三方包,您可以将已安装的包及其依赖项打包为一个压缩文件,并将该文件上传到 DataWorks 私有云环境中进行离线安装。

    2. 本地依赖包:如果所需的第三方包较小且没有太多依赖项,您可以将它们作为本地依赖包一同上传到 DataWorks 私有云环境中,并在程序中引用这些本地依赖包。

    3. 定制镜像:联系 DataWorks 私有云环境的管理员或负责维护的团队,询问是否可以定制镜像来预安装所需的第三方包。这样,在创建 DataWorks 任务时,基于该定制镜像的环境就会自动包含所需的第三方包。

    2023-12-10 21:41:27
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多