Python on MaxCompute之UDF操作命令行

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 语法: add py [comment 'cmt'][-f]; 说明:local_file.py:.py文件 注册函数 语法: CREATE FUNCTION AS USING ; 说明: function_name:UDF函数名,这个名字就是SQL中引用该函数所使用的名字。

添加函数

语法:

add py <local_file.py> [comment 'cmt'][-f];


说明:

local_file.py:.py文件

option:[-f] 强制更新

注册函数

语法:

CREATE FUNCTION <function_name> AS <package_to_class> USING <resource_list>;

说明:

  • function_name:UDF函数名,这个名字就是SQL中引用该函数所使用的名字。
  • package_to_class:python UDF,这个名字就是python脚本名.类名。这个名字必须用引号引起来。
  • resource_list:UDF所用到的资源列表,这个里面必须包括UDF代码所在的资源。如果用户代码中通过distributed cache接口读取资源文件,这个列表中还得包括udf所读取的资源文件列表。资源列表由多个资源名组成,资源名之间由逗号(”,”)分隔。资源列表必须用引号引起来。若需指定资源所在的 project,写法为:<project_name>/resources/<resource_name>
  • 使用示例:创建函数my_lower:

假设Python UDF MyLower在项目空间test_project的脚本pyudf_test.py中,创建函数my_lower:
create function my_lower as 'pyudf_test.MyLower'
    using 'test_project/resources/pyudf_test.py';


注解

  • 与资源文件一样,同名函数只能注册一次。
  • 一般情况下用户自建函数无法覆盖系统内建函数。只有项目空间的Owner才有权利覆盖内建函数。如果用户使用了覆盖内建函数的自定义函数,在SQL执行结束后,会在Summary中打印出warning信息。

注销函数

语法:

DROP FUNCTION <function_name>;


使用示例:

DROP FUNCTION my_lower;

查看函数清单

命令示例: 

list functions;                  --查看当前项目空间中的所有的自定义函数
ls functions -p my_project;      --查看指定项目空间my_project下的所有自定义函数


相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
2月前
|
数据采集 自然语言处理 分布式计算
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
大数据岗位技能需求挖掘:Python爬虫与NLP技术结合
|
2月前
|
数据采集 分布式计算 大数据
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
69 1
|
5月前
|
数据采集 数据可视化 数据挖掘
基于Python的App流量大数据分析与可视化方案
基于Python的App流量大数据分析与可视化方案
|
5月前
|
数据采集 数据可视化 大数据
Python入门修炼:开启你在大数据世界的第一个脚本
Python入门修炼:开启你在大数据世界的第一个脚本
121 6
|
7月前
|
数据采集 存储 机器学习/深度学习
探索Python的力量:如何处理大数据
探索Python的力量:如何处理大数据
129 7
|
7月前
|
缓存 Shell 开发工具
[oeasy]python064_命令行工作流的总结_vim_shell_python
本文总结了命令行工作流中的关键工具和操作,包括vim、shell和Python。主要内容如下: 1. **上次回顾**:完成了输入输出的代码编写,并再次练习了vim的使用。 2. **shell基础**:介绍了shell环境及其基本命令,如`pwd`、`cd`、`ll -l`等。 3. **Python游乐场**:通过`python3`命令进入Python交互环境,可以进行简单计算和函数调用,常用函数有`help`、`ord`、`chr`等。 4. **vim编辑器**:详细讲解了vim的三种模式(正常模式、插入模式、底行命令模式)及其切换方法,以及常用的底行命令如`:w`、`:q`、`
136 15
|
8月前
|
机器学习/深度学习 人工智能 分布式计算
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
我的阿里云社区年度总结报告:Python、人工智能与大数据领域的探索之旅
263 35
|
8月前
|
人工智能 分布式计算 大数据
MaxFrame 产品评测:大数据与AI融合的Python分布式计算框架
MaxFrame是阿里云MaxCompute推出的自研Python分布式计算框架,支持大规模数据处理与AI应用。它提供类似Pandas的API,简化开发流程,并兼容多种机器学习库,加速模型训练前的数据准备。MaxFrame融合大数据和AI,提升效率、促进协作、增强创新能力。尽管初次配置稍显复杂,但其强大的功能集、性能优化及开放性使其成为现代企业与研究机构的理想选择。未来有望进一步简化使用门槛并加强社区建设。
363 8
|
8月前
|
SQL 分布式计算 DataWorks
MaxCompute MaxFrame评测 | 分布式Python计算服务MaxFrame(完整操作版)
在当今数字化迅猛发展的时代,数据信息的保存与分析对企业决策至关重要。MaxCompute MaxFrame是阿里云自研的分布式计算框架,支持Python编程接口、兼容Pandas接口并自动进行分布式计算。通过MaxCompute的海量计算资源,企业可以进行大规模数据处理、可视化数据分析及科学计算等任务。本文将详细介绍如何开通MaxCompute和DataWorks服务,并使用MaxFrame进行数据操作。包括创建项目、绑定数据源、编写PyODPS 3节点代码以及执行SQL查询等内容。最后,针对使用过程中遇到的问题提出反馈建议,帮助用户更好地理解和使用MaxFrame。
|
9月前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
301 2

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 推荐镜像

    更多