开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

数据开发与运行如何在pyodps调用第三方包?

数据开发与运行如何在pyodps调用第三方包?

展开
收起
十一0204 2023-04-03 22:47:18 301 0
3 条回答
写回答
取消 提交回答
  • 公众号:网络技术联盟站,InfoQ签约作者,阿里云社区签约作者,华为云 云享专家,BOSS直聘 创作王者,腾讯课堂创作领航员,博客+论坛:https://www.wljslmz.cn,工程师导航:https://www.wljslmz.com

    可以按照以下步骤进行:

    1、将第三方包上传至DataWorks。

    可以将第三方包上传至DataWorks的文件系统中,或者上传至阿里云对象存储(OSS)中,然后通过DataWorks中的“数据集成”功能进行读取。

    2、安装第三方包。

    在pyodps代码中,可以使用pip命令或者其他常用Python包管理工具,在DataWorks使用Jupyter Notebook新建一个空白的代码框,运行以下命令,安装第三方包:

    !pip install -U 包名 -t 安装路径
    

    其中,“-U”表示升级安装包,“-t”表示指定安装路径,可以根据自己实际需要修改。安装完成后,可以通过以下命令查看已安装的包:

    !pip list
    

    3、在pyodps代码中引用第三方包。

    在安装第三方包后,可以在pyodps代码中使用import命令引用已安装的包。例如,如果要使用pandas包,可以在pyodps代码中添加以下代码:

    import pandas as pd
    
    2023-04-24 14:55:01
    赞同 展开评论 打赏
  • 意中人就是我呀!

    需要使用独享调度资源组进行操作,详情请参考文档:在PyODPS节点中调用第三方包 https://help.aliyun.com/document_detail/99295.html 此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-04-05 13:23:45
    赞同 展开评论 打赏
  • 十分耕耘,一定会有一分收获!

    楼主你好,看一下这个大概步骤流程: 1、进入数据开发页面,登录DataWorks控制台。 2、创建Python资源。 3、创建PyODPS 2节点。 4、打开PyODPS 2节点的编辑页面,右键单击目标Python资源名称,选择引用资源。 5、在PyODPS 2节点内输入引用第三方包的代码。 6、最后运行,运行日志区域查看结果。

    2023-04-04 09:23:20
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

热门讨论

热门文章

相关电子书

更多
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

相关实验场景

更多