开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks在PyODPS节点中调用第三方包依赖开源的三方包?

DataWorks在PyODPS节点中调用第三方包依赖开源的三方包?

展开
收起
真的很搞笑 2023-11-20 07:51:02 48 0
3 条回答
写回答
取消 提交回答
  • 在PyODPS节点中调用第三方包https://help.aliyun.com/zh/dataworks/use-cases/use-a-pyodps-node-to-reference-a-third-party-package?spm=a2c4g.11186623.0.i133

    本文为您介绍在依赖普通的Python脚本和开源三方包的场景下,如何使用DataWorks PyODPS节点调用第三方包。

    使用限制
    在PyODPS节点中调用第三方包仅支持使用独享调度资源组。创建及使用独享调度资源组,详情请参见独享调度资源组。
    DataWorks建议您在PyODPS节点内获取到本地处理的数据不超过50 MB,该操作受限于DataWorks执行资源的不同规格(包括公共调度资源组和独享调度资源组),处理的本地数据过多并超出操作系统阈值时可能发生OOM(Got killed)错误。请避免在PyODPS节点中写入过多的数据处理代码。详情请参见高效使用PyODPS最佳实践。
    如果您发现有Got killed报错,即表明内存使用超限,进程被中止。因此,请尽量避免本地的数据操作。通过PyODPS发起的SQL和DataFrame任务(除to_pandas外)不受此限制。
    非自定义函数代码可以使用平台预装的Numpy和Pandas。不支持其他带有二进制代码的三方包。
    由于兼容性原因,在DataWorks中,options.tunnel.use_instance_tunnel默认设置为False。如果需要全局开启instance tunnel,需要手动将该值设置为True。

    2023-11-20 14:08:48
    赞同 1 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    是的,DataWorks PyODPS节点支持调用第三方开源包,但需要遵循一些规则:

    1. 支持的三方包:只有部分开源的Python第三方包是受支持的,您可以查看官方文档或论坛来获取更多信息。
    2. 版本要求:建议您使用官方推荐的版本或最新版本,以免出现兼容性问题。
    3. 包管理器:DataWorks PyODPS节点默认使用pip作为包管理器,因此您需要熟悉它的使用方法。
    4. 安全性:在使用第三方开源包时,请注意不要引入恶意软件或其他安全隐患。

    为了更好地支持第三方包,您可以考虑以下几种方式:

    1. 自己构建虚拟环境:您可以创建一个虚拟环境,并在里面安装所需的三方包,以避免污染全局环境。
    2. 使用容器:使用Docker等容器技术,将所需的第三方包打包到容器中,以确保安全性。
    2023-11-20 13:45:46
    赞同 展开评论 打赏
  • 是的,DataWorks在PyODPS节点中调用第三方包时,需要依赖开源的三方包。这些三方包通常包括数据处理、分析、可视化等工具,如NumPy、Pandas、Matplotlib等。在使用这些三方包之前,需要先安装它们,并在代码中导入相应的模块。

    2023-11-20 09:38:42
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks全链路数据质量解决方案-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载