用MaxCompute Studio开发Python UDF(附采坑记录)

简介:

1.环境

系统:MacOS 
系统自带Python版本(/usr/bin/python):2.7.10
Anaconda Python版本:2.7.14
Maxcompute Studio版本: 2.9.1

2.安装Python|Pyodps|Python插件

MaxCompute studio能支持用户在intellij idea里完成python相关的开发,包括UDF和pyodps脚本,但是使用前必须安装python, pyodps和idea的python插件。

2.1安装Python

略

2.2安装Pyodps

pyodps是MaxCompute的python sdk,安装命令:
pip install pyodps 。请确保是给/usr/bin/python安装的,后面在create function时会检查/usr/bin/python是否安装了pyodps(Studio同学说3.0.0会增加指定Python路径的特性,当前版本没有)。由于我的mac上安装了anaconda,pyodps默认安装到了anaconda对应的Python,所以给/usr/bin/python安装pyodps需要运行命令:sudo /usr/bin/python -m pip install pyodps
注意:如果此命令报错提示没有pip这个模块,说明/usr/bin/python下没有安装pip,解决方法见附录4.1.

2.3安装Python插件

在Intellij IDEA的插件仓库中搜索Python Community Edition插件并安装。
image.png

2.4配置Python依赖

配置studio module对python的依赖,这样就可以使用进行MaxCompute python开发了。

  • File -> Project structure,添加python sdk:
    image.png
  • File -> Project structure,添加python facets:
    image.png
  • File -> Project structure,配置module依赖python facets:
    image.png

3.开发Python UDF

3.1 开发

  1. 右键 new | MaxCompute Python,如果没有MaxCompute Python选项说明没有安装好Python插件,参考前文所述的安装指引。
    image.png
  2. 输入类名,如hello,选择类型,这里我们选择UDF,点击OK。
    image.png
  3. 模板已自动填充框架代码,您只需要编写UDF的入参出参,以及函数逻辑。
    image.png

3.2 测试

UDF开发好后,下一步就是要测试自己的代码,看是否符合预期。我们支持下载表的部分sample数据到本地运行,进行debug,步骤如下:

  1. 在Editor中UDF类上右键,点击”运行”菜单,弹出run configuration对话框。UDF|UDAF|UDTF一般作用于select子句中表的某些列,此处需配置MaxCompute project,table和column(元数据来源于project explorer窗口和warehouse下的Mock项目):
    image.png

注意:图中Table columns是UDF的入参,如果是加法函数,则这里需要输入两个字段。

2.点击OK后,通过tunnel自动下载用户指定表的sample数据到本地warehouse目录(若之前已下载过,则不会再次重复下载,否则利用tunnel服务下载数据。默认下载100条,如需更多数据测试,请自行使用console的tunnel命令或者studio的表下载功能)。下载完成后,用户可以在warehouse目录看到下载的sample数据。这里用户也可以使用Mock data(即warehouse里的数据自己mock,具体可参考java udf开发中的“关于本地运行的warehouse目录”部分)。
image.png

3.然后本地运行框架会根据用户指定的列,获取data文件里指定列的数据,调用UDF本地运行。(本地运行是通过pyodps的pyou脚本实现的,命令类似如下pyou hello.Plus < data。安装完pyodps后可以检查下该脚本是否存在,windows: ${python}/../Scripts/pyou, mac:${python}/../pyou)。用户可以在控制台看到结果打印,也可以在UDF上打断点调试,如下图:
image.png

3.3 注册发布

Python UDF测试通过后,就可以注册发布到生产上使用了,先Add Resource,然后Create Function即可。

3.3.1上传py文件

1.在MaxCompute菜单选择Add Resource菜单项:
image.png

2.选择要上传到哪个MaxCompute project上,py文件路径,要注册的资源名,以及当资源或函数已存在时是否强制更新,然后点击OK。
屏幕快照 2018-05-03 上午10.08.19.png

3.上传成功后,可以在project explorer窗口的resources节点下看到该资源。
屏幕快照 2018-05-03 上午10.11.14.png

3.3.2注册UDF

py文件上传完成后,就可以注册UDF函数了。
1.在MaxCompute菜单选择Create Function菜单项。
image.png

2.选择需要使用的资源py文件,py文件的主类,输入函数名,然后点击OK。
屏幕快照 2018-05-03 上午10.16.00.png
图中函数名处可以自己给函数取一个名字。类名是.py资源名去掉后缀的部分和python代码中的类名,本例中为"hello.hello",使用的资源即是python文件名hello.py。

3.注册成功后,可以在project explorer窗口的functions节点下看到该函数。
屏幕快照 2018-05-03 上午10.18.40.png

3.4 使用UDF

接下来就可以在SQL中使用新编写的UDF完成后续开发。
屏幕快照 2018-05-03 上午10.21.54.png

4.附录

4.1.安装pip(给/usr/bin/python)

用easy_install pip安装每次都安装到了anaconda Python下面,没有安装到/usr/bin/python下面。最终用get-pip.py文件成功给/usr/bin/python安装上了pip,具体的操作是:下载get-pip.py文件: wget bootstrap.pypa.io/get-pip.py 。 如果没有wget, 那么brew install wget。如果没有brew 安装brew:https://brew.sh/
接着安装pip: sudo /usr/bin/python ~/get-pip.py 。至此/usr/bin/python的pip就安装成功了。如果要安装pyodps,可以运行: sudo /usr/bin/python -m pip install pyodps

4.2.创建函数时提示/usr/bin/python没有安装pyodps的问题

在create function时如果弹出窗口提示:/usr/bin/python没有安装pyodps,如下图所示:
图片.png
需要按照2.2中所述的指引给/usr/bin/python安装pyodps,然后再重复创建函数即可。
(当前版本的studio在create function时会默认检查/usr/bin/python没有安装pyodps,不能指定其他路径的Python,比如anaconda python。studio同学说自后续发布的3.0.0版本中会加入可以选择Python路径的新特性。)

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 监控 算法
淘宝买家秀 API开发实录Python(2025)
本文讲述了作者在电商开发领域,尤其是对接淘宝买家秀 API 接口过程中所经历的挑战与收获。从申请接入、签名验证、频率限制到数据处理和实时监控,作者分享了多个实战经验与代码示例,帮助开发者更高效地获取和处理买家秀数据,提升开发效率。
|
设计模式 人工智能 API
AI智能体开发实战:17种核心架构模式详解与Python代码实现
本文系统解析17种智能体架构设计模式,涵盖多智能体协作、思维树、反思优化与工具调用等核心范式,结合LangChain与LangGraph实现代码工作流,并通过真实案例验证效果,助力构建高效AI系统。
1226 7
|
数据采集 存储 数据库
Python爬虫开发:Cookie池与定期清除的代码实现
Python爬虫开发:Cookie池与定期清除的代码实现
|
人工智能 搜索推荐 数据可视化
用 Python 制作简单小游戏教程:手把手教你开发猜数字游戏
本教程详细讲解了用Python实现经典猜数字游戏的完整流程,涵盖从基础规则到高级功能的全方位开发。内容包括游戏逻辑设计、输入验证与错误处理、猜测次数统计、难度选择、彩色输出等核心功能,并提供完整代码示例。同时,介绍了开发环境搭建及调试方法,帮助初学者快速上手。最后还提出了图形界面、网络对战、成就系统等扩展方向,鼓励读者自主创新,打造个性化游戏版本。适合Python入门者实践与进阶学习。
1701 1
|
算法 程序员 API
电商程序猿开发实录:淘宝商品python(2)
本文分享了开发者在对接淘宝商品详情API过程中的真实经历,涵盖权限申请、签名验证、限流控制、数据解析及消息订阅等关键环节,提供了实用的Python代码示例,帮助开发者高效调用API,提升系统稳定性与数据处理能力。
|
存储 算法 数据可视化
用Python开发猜数字游戏:从零开始的手把手教程
猜数字游戏是编程入门经典项目,涵盖变量、循环、条件判断等核心概念。玩家通过输入猜测电脑生成的随机数,程序给出提示直至猜中。项目从基础实现到功能扩展,逐步提升难度,适合各阶段Python学习者。
1305 0
|
数据采集 存储 监控
抖音直播间采集提取工具,直播间匿名截流获客软件,Python开发【仅供学习】
这是一套基于Python开发的抖音直播间数据采集与分析系统,包含观众信息获取、弹幕监控及数据存储等功能。代码采用requests、websockets和sqlite3等...
|
机器学习/深度学习 传感器 分布式计算
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
数据才是真救命的:聊聊如何用大数据提升灾难预警的精准度
779 14
|
数据采集 分布式计算 DataWorks
ODPS在某公共数据项目上的实践
本项目基于公共数据定义及ODPS与DataWorks技术,构建一体化智能化数据平台,涵盖数据目录、归集、治理、共享与开放六大目标。通过十大子系统实现全流程管理,强化数据安全与流通,提升业务效率与决策能力,助力数字化改革。
540 4
|
机器学习/深度学习 运维 监控
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
运维不怕事多,就怕没数据——用大数据喂饱你的运维策略
1284 0

推荐镜像

更多