北京云栖大会MaxCompute又出大招,Python UDF抢先体验!

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF。 小编第一时间申请到了公测资格,下面就为大家做个简单演示,通过DataWorks注册MaxCompute Python UDF(字符串大小写转换),完成数据处理。

2017/12/20 北京云栖大会上阿里云MaxCompute发布了最新的功能Python UDF。


b51ec4adb2cddb2884b7c1c839a1f39e011bf99f


小编第一时间申请到了公测资格,下面就为大家做个简单演示,通过DataWorks注册MaxCompute Python UDF(字符串大小写转换),完成数据处理。


前提条件:

1、申请开通https://page.aliyun.com/form/odps_py/pc/index.htm

注意:公测阶段请使用测试Project,不要使用生产Project。

2、开通MaxCompute/Dataworks。

3、Python 脚本,test_udf.py。实现方法请参考Python实现MaxCompute UDF


# -*- coding:utf-8 -*-
from odps.udf import annotate #函数签名,SQL执行前所有函数的参数类型和返回值类型必须确定;
@annotate("string->string")#参数为string,返回值为string;
class Upper2Lower(object):
   def evaluate(self, arg):#实现 evaluate 方法;
       return arg.lower()

操作演示:

step1,通过Dataworks数据开发添加.py资源。操作如下,数据开发->资源管理->上传资源。

465e518b606bec060f7bb1859ed1215c097b22a3


step2,通过Dataworks数据开发任务创建.py资源。

--@resource_reference{"test_udf.py"}
add py test_udf.py;

268623dbf93d6b9cbbf3717503ed7dabcc826af8

7ceb991b6f45dc06b622e56ff530d4578eeb170d


06c49a825599bdcc9b3638fef076398deba80131


0e6f7324937499c425c31174bdd5654a979aabb4


step3,数据开发任务注册函数。

create function upper2lower as 'test_udf.Upper2Lower'
    using test_udf.py 

45a159f56dc3857b70ed43bdc36144085cc8725a

 

step4,通过list命令查看函数是否注册成功。

list functions ;

8093bcda0edda5a2cdf92d80c95d9034e3fc2c34


step5,完成udf测试。

select upper2lower('AA');

a9c08ad3d11bae7b288c26bee715ae0945c0e308


相关资料参考:

通过MaxCompute Console 运行Python UDF:https://yq.aliyun.com/articles/304494

通过MaxCompute Studio运行Python UDF:https://yq.aliyun.com/articles/304646

通过Pyodps 运行Python UDF :https://yq.aliyun.com/articles/307577

Python SDK :https://help.aliyun.com/document_detail/34615.html


欢迎加入“数加·MaxCompute购买咨询”钉钉群(群号: 11782920)进行咨询,群二维码如下:

IMG_3471

9386564c728d252b47446fb4dca021f3db48ad4a

image

阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/

---阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……

bba01b493e1c5d904e882b1c380673c6ebe49a98


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
11月前
|
机器学习/深度学习 算法 搜索推荐
从理论到实践,Python算法复杂度分析一站式教程,助你轻松驾驭大数据挑战!
【10月更文挑战第4天】在大数据时代,算法效率至关重要。本文从理论入手,介绍时间复杂度和空间复杂度两个核心概念,并通过冒泡排序和快速排序的Python实现详细分析其复杂度。冒泡排序的时间复杂度为O(n^2),空间复杂度为O(1);快速排序平均时间复杂度为O(n log n),空间复杂度为O(log n)。文章还介绍了算法选择、分而治之及空间换时间等优化策略,帮助你在大数据挑战中游刃有余。
305 3
|
2月前
|
数据采集 自然语言处理 分布式计算
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
|
2月前
|
数据采集 分布式计算 大数据
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
69 1
|
5月前
|
数据采集 数据可视化 数据挖掘
基于Python的App流量大数据分析与可视化方案
基于Python的App流量大数据分析与可视化方案
|
5月前
|
数据采集 数据可视化 大数据
Python入门修炼:开启你在大数据世界的第一个脚本
Python入门修炼:开启你在大数据世界的第一个脚本
121 6
|
7月前
|
数据采集 存储 机器学习/深度学习
探索Python的力量:如何处理大数据
探索Python的力量:如何处理大数据
129 7
|
8月前
|
机器学习/深度学习 人工智能 分布式计算
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
263 35
|
8月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
363 8
|
8月前
|
SQL 分布式计算 DataWorks
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。
|
9月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
301 2

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 推荐镜像

    更多