北京云栖大会MaxCompute又出大招,Python UDF抢先体验!

简介: 2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF。 小编第一时间申请到了公测资格,下面就为大家做个简单演示,通过DataWorks注册MaxCompute Python UDF(字符串大小写转换),完成数据处理。

2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF。


b51ec4adb2cddb2884b7c1c839a1f39e011bf99f


小编第一时间申请到了公测资格,下面就为大家做个简单演示,通过DataWorks注册MaxCompute Python UDF(字符串大小写转换),完成数据处理。


前提条件:

1、申请开通https://page.aliyun.com/form/odps_py/pc/index.htm

注意:公测阶段请使用测试Project,不要使用生产Project。

2、开通MaxCompute/Dataworks。

3、Python 脚本,test_udf.py。实现方法请参考Python实现MaxCompute UDF


# -*- coding:utf-8 -*-
from odps.udf import annotate #函数签名,SQL执行前所有函数的参数类型和返回值类型必须确定;
@annotate("string->string")#参数为string,返回值为string;
class Upper2Lower(object):
   def evaluate(self, arg):#实现 evaluate 方法;
       return arg.lower()

操作演示:

step1,通过Dataworks数据开发添加.py资源。操作如下,数据开发->资源管理->上传资源。

465e518b606bec060f7bb1859ed1215c097b22a3


step2,通过Dataworks数据开发任务创建.py资源。

--@resource_reference{"test_udf.py"}
add py test_udf.py;

268623dbf93d6b9cbbf3717503ed7dabcc826af8

7ceb991b6f45dc06b622e56ff530d4578eeb170d


06c49a825599bdcc9b3638fef076398deba80131


0e6f7324937499c425c31174bdd5654a979aabb4


step3,数据开发任务注册函数。

create function upper2lower as 'test_udf.Upper2Lower'
    using test_udf.py 

45a159f56dc3857b70ed43bdc36144085cc8725a

 

step4,通过list命令查看函数是否注册成功。

list functions ;

8093bcda0edda5a2cdf92d80c95d9034e3fc2c34


step5,完成udf测试。

select upper2lower('AA');

a9c08ad3d11bae7b288c26bee715ae0945c0e308


相关资料参考:

通过MaxCompute Console 运行Python UDF:https://yq.aliyun.com/articles/304494

通过MaxCompute Studio运行Python UDF:https://yq.aliyun.com/articles/304646

通过Pyodps 运行Python UDF :https://yq.aliyun.com/articles/307577

Python SDK :https://help.aliyun.com/document_detail/34615.html


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

9386564c728d252b47446fb4dca021f3db48ad4a

image

阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……

bba01b493e1c5d904e882b1c380673c6ebe49a98


相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
3月前
|
存储 分布式计算 大数据
基于Python大数据的的电商用户行为分析系统
本系统基于Django、Scrapy与Hadoop技术,构建电商用户行为分析平台。通过爬取与处理海量用户数据,实现行为追踪、偏好分析与个性化推荐,助力企业提升营销精准度与用户体验,推动电商智能化发展。
|
3月前
|
数据可视化 关系型数据库 MySQL
基于python大数据的的海洋气象数据可视化平台
针对海洋气象数据量大、维度多的挑战,设计基于ECharts的可视化平台,结合Python、Django与MySQL,实现数据高效展示与交互分析,提升科研与决策效率。
|
4月前
|
数据可视化 搜索推荐 大数据
基于python大数据的北京旅游可视化及分析系统
本文深入探讨智慧旅游系统的背景、意义及研究现状,分析其在旅游业中的作用与发展潜力,介绍平台架构、技术创新、数据挖掘与服务优化等核心内容,并展示系统实现界面。
|
3月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的台风灾害分析及预测系统
针对台风灾害预警滞后、精度不足等问题,本研究基于Python与大数据技术,构建多源数据融合的台风预测系统。利用机器学习提升路径与强度预测准确率,结合Django框架实现动态可视化与实时预警,为防灾决策提供科学支持,显著提高应急响应效率,具有重要社会经济价值。
|
3月前
|
机器学习/深度学习 大数据 关系型数据库
基于python大数据的青少年网络使用情况分析及预测系统
本研究基于Python大数据技术,构建青少年网络行为分析系统,旨在破解现有防沉迷模式下用户画像模糊、预警滞后等难题。通过整合多平台亿级数据,运用机器学习实现精准行为预测与实时干预,推动数字治理向“数据驱动”转型,为家庭、学校及政府提供科学决策支持,助力青少年健康上网。
|
3月前
|
数据可视化 大数据 关系型数据库
基于python大数据技术的医疗数据分析与研究
在数字化时代,医疗数据呈爆炸式增长,涵盖患者信息、检查指标、生活方式等。大数据技术助力疾病预测、资源优化与智慧医疗发展,结合Python、MySQL与B/S架构,推动医疗系统高效实现。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 推荐镜像

    更多