自己写了一个python3的程序,可以在dataworks上面运行,拉起依赖吗?调用自己的python3的程序, 不论方法1,方法2,都需要:独享调度资源组 吗?
在独享调度资源组上有的三方包支持使用 。第三方包,shell只能使用独享调度资源组,shell调用python资源,##@resource_reference{"ipaddress-1.0.23-py2.zip"}
import time
import datetime
import base64
import hashlib
import httplib
import json
import sys
import csv
import os
from odps import ODPS
pathname = os.path.dirname(os.path.abspath('ipaddress-1.0.23-py2.zip'))
os.system('unzip ipaddress-1.0.23-py2.zip -d ' + pathname)
sys.path.append(pathname)
import ipaddress #在这里引用
print ipaddress.ip_network(unicode("192.0.2.0/24")),此回答整理自钉群“DataWorks交流群(答疑@机器人)”
在DataWorks上面运行Python程序时,您可以选择两种方式:
如果您使用DataWorks Python组件来运行Python程序,那么可以直接调用并拉起所需的依赖。但是需要注意的是,这种方式只能支持Python 2.x版本,不支持Python 3.x版本。
如果您使用DataWorks Shell组件来运行Python程序,那么可以使用如下命令来拉起依赖:
pip install <dependency-name>
但是需要注意的是,这种方法只适用于Linux环境,并且可能会影响您的数据作业的性能和安全性。
另外,DataWorks的独享调度资源组功能允许您为特定的任务分配足够的计算资源,以提高任务的执行效率和可靠性。因此,建议您在使用DataWorks时考虑使用独享调度资源组。
总的来说,在DataWorks中运行Python程序时,您可以根据实际需求选择适当的运行方式。
在DataWorks中,如果你需要运行自己的Python3程序,并且这个程序需要拉取外部依赖(例如,第三方库),那么你可能需要使用独享调度资源组。这是因为共享调度资源组可能无法满足你的程序的资源需求。
然而,这并不意味着你必须使用独享调度资源组。你也可以尝试使用共享调度资源组,看看是否能够满足你的需求。如果不能,再考虑使用独享调度资源组。
总的来说,是否需要使用独享调度资源组,主要取决于你的程序的资源需求和DataWorks提供的资源限制。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。