开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

自己写了一个python3的程序,可以在dataworks上面运行,拉起依赖吗?

自己写了一个python3的程序,可以在dataworks上面运行,拉起依赖吗?调用自己的python3的程序, 不论方法1,方法2,都需要:独享调度资源组 吗?

展开
收起
真的很搞笑 2023-11-20 07:51:24 81 0
3 条回答
写回答
取消 提交回答
  • 在独享调度资源组上有的三方包支持使用 。第三方包,shell只能使用独享调度资源组,shell调用python资源,##@resource_reference{"ipaddress-1.0.23-py2.zip"}

    import time
    import datetime
    import base64
    import hashlib
    import httplib
    import json
    import sys
    import csv
    import os
    from odps import ODPS

    解压压缩包

    pathname = os.path.dirname(os.path.abspath('ipaddress-1.0.23-py2.zip'))
    os.system('unzip ipaddress-1.0.23-py2.zip -d ' + pathname)

    添加引用

    sys.path.append(pathname)
    import ipaddress #在这里引用

    print ipaddress.ip_network(unicode("192.0.2.0/24")),此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-11-20 21:34:39
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks上面运行Python程序时,您可以选择两种方式:

    1. 使用DataWorks Python组件

    如果您使用DataWorks Python组件来运行Python程序,那么可以直接调用并拉起所需的依赖。但是需要注意的是,这种方式只能支持Python 2.x版本,不支持Python 3.x版本。

    1. 使用DataWorks Shell组件

    如果您使用DataWorks Shell组件来运行Python程序,那么可以使用如下命令来拉起依赖:

    pip install <dependency-name>
    

    但是需要注意的是,这种方法只适用于Linux环境,并且可能会影响您的数据作业的性能和安全性。
    另外,DataWorks的独享调度资源组功能允许您为特定的任务分配足够的计算资源,以提高任务的执行效率和可靠性。因此,建议您在使用DataWorks时考虑使用独享调度资源组。
    总的来说,在DataWorks中运行Python程序时,您可以根据实际需求选择适当的运行方式。

    2023-11-20 13:35:34
    赞同 展开评论 打赏
  • 在DataWorks中,如果你需要运行自己的Python3程序,并且这个程序需要拉取外部依赖(例如,第三方库),那么你可能需要使用独享调度资源组。这是因为共享调度资源组可能无法满足你的程序的资源需求。

    然而,这并不意味着你必须使用独享调度资源组。你也可以尝试使用共享调度资源组,看看是否能够满足你的需求。如果不能,再考虑使用独享调度资源组。

    总的来说,是否需要使用独享调度资源组,主要取决于你的程序的资源需求和DataWorks提供的资源限制。

    2023-11-20 09:03:15
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    From Python Scikit-Learn to Sc 立即下载
    Data Pre-Processing in Python: 立即下载
    双剑合璧-Python和大数据计算平台的结合 立即下载