DataWorks在PyODPS节点中调用第三方包依赖开源的三方包
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
在DataWorks的PyODPS节点中,可以使用pip命令安装第三方开源包。具体步骤如下:
在DataWorks工作台中,进入你的项目,进入PyODPS节点。
在PyODPS节点的代码编辑区中,使用pip命令安装所需的第三方包。例如,可以使用以下命令安装numpy包:
Copy
!pip install numpy
在PyODPS节点的代码中,导入已安装的第三方包,并使用其提供的功能。例如,可以使用以下代码导入numpy包并计算数组的平均值:
python
Copy
import numpy as np
arr = np.array([1, 2, 3, 4, 5])
avg = np.mean(arr)
print(avg)
在DataWorks的PyODPS节点中,可以调用第三方开源包来满足您的依赖需求。以下是一些步骤和注意事项:
确保PyODPS节点已启用第三方包支持:在DataWorks项目的配置中,确保已启用PyODPS节点的第三方包支持选项。
安装第三方包:在PyODPS节点中,您可以通过!pip install
命令来安装需要的第三方包,例如:
!pip install package_name
请替换package_name
为您所需的具体第三方包名称。
导入第三方包并使用:在PyODPS节点中,可以直接导入已安装的第三方包,并在代码中使用它们。例如:
```python
import package_name
```
请注意,DataWorks的PyODPS节点提供了基本的Python环境和常用的第三方包。但由于可能会有版本限制和安全策略,某些特定的第三方包可能无法在DataWorks中使用。如果遇到这种情况,您可以联系DataWorks的管理员或阿里云客服,了解更多关于第三方包支持和可用性的信息。
如果您依赖一个开源的三方包,需要使用PIP安装,且需要满足以下条件:必须使用独享调度资源组,详情请参见新增独享调度资源组。在独享调度资源组的运维助手中安装需要的三方包,详情请参见运维助手。PyODPS节点分为PyODPS 2和PyODPS 3:如果依赖PyODPS 2节点,请执行如下命令。 pip install <需要安装的包> -i https://pypi.tuna.tsinghua.edu.cn/simple执行命令后,如果提示需要升级PIP版本,请执行如下命令。pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
如果依赖PyODPS 3节点,请执行如下命令。 /home/tops/bin/pip3 install <需要安装的包> -i https://pypi.tuna.tsinghua.edu.cn/simple 安装了需要的三方包后,使用import命令导入对应包即可使用。例如,通过运维助手使用pip3 -install oss2语句安装了oss2这个Python依赖包后,您可以在PyODPS 3节点中使用import oss2语句导入oss2依赖包并使用。执行命令后,如果提示需要升级PIP版本,请执行如下命令。/home/tops/bin/pip3 install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple如果使用PyODPS 3出现如下报错,请提交工单申请开启权限。
https://help.aliyun.com/document_detail/94159.html
,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。