用户定义函数UDF-阿里云开发者社区

开发者社区> 大数据> 正文

用户定义函数UDF

简介: UDF

UDF简介

UDF(user defined scalar function)

用户自定义标量函数用于对传递给它的一个或者多个参数值进行处理和计算并返回一个单一的值。
函数输入和输出是一对一的
返回一个确定类型的标量值
可以在where过滤条件中
select myudf_low(name) FROM t_test;
select * from t_test where myudf_lower(name)='odps';
select * from t_test where myudf_lower(myudf_lower(name))='odps';

UDTF(user defined table valued function)

用户自定义表值函数:解决一次函数调用输出多行多列数据场景;唯一能返回多个字段的用户自定义函数;不支持在同一个select字句中与group by,distribute by/sort by联用。
函数输入和输出是一对多的
同一个select字句不允许有其他表达式
不能嵌套使用
select myudf_vertical(name,score) as (name,score) from t_udtf;

UDAF(user defined aggregation function)

用户自定义聚合函数:将多条输入记录聚合成一条输出值后输出。
输入与输出是多对一关系
可以与SQL中的group by语句联用
select AggrAvg(score) from t_udaf;
select name,AggrAvg(score) from t_udtf group by name;

Java UDF支持的数据类型

UDF实现逻辑

UDF实现逻辑

UDTF实现逻辑

UDAF实现逻辑

实现UDF需要继承com.aliyun.odps.udf.Aggregator类
需要实现setup,newBuffer,iterate,terminate,merge,close等接口
用户实现自定义的writable buffer

UDAF实现平均值

UDF开发流程

JavaUDF的开发流程

配置Java+eclipse的环境
新建项目
新增UDF类
添加逻辑处理
准备本地测试数据
编译调试
导出Jar包
发布

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

其他文章