UDF,UDAF,UDTF 概念及常用函数

简介: UDF,UDAF,UDTF 概念及常用函数

一、UDF,UDAF,UDTF 概念,常用函数:

UDF、UDAF 和 UDTF 都是 Hive 中的用户自定义函数类型:

  1. UDF:用户自定义标量函数 (User-Defined Function),用于处理单个数据项并返回单个结果的函数类型,即一进一出。例如,将一个字符串转为大写字母。
  2. UDAF:用户自定义聚合函数 (User-Defined Aggregation Function),用于处理多个数据项并返回单个结果的函数类型,即多进一出。例如,计算一个列的平均值。
  3. UDTF:用户自定义表格函数 (User-Defined Table Function),用于将一个输入转为多个输出的函数类型,即一进多出(lateral view explode()。例如,将一行数据拆分成多个单词。

以下是一些常用的 Hive UDF、UDAF 和 UDTF 函数:

UDF 函数:

  1. CONCAT:连接多个字符串。
  2. UPPER:将字符串转为大写字母。
  3. LOWER:将字符串转为小写字母。
  4. TRIM:删除字符串中的空格。
  5. SUBSTR:截取字符串的一部分。

UDAF 函数:

  1. AVG:计算一个数值列的平均值。
  2. SUM:计算一个数值列的总和。
  3. MAX:计算一个数值列的最大值。
  4. MIN:计算一个数值列的最小值。
  5. COUNT:计算一个数值列的行数。

UDTF 函数:

  1. EXPLODE:将一个数组或者一个 Map 类型的列拆分成多行。
  2. LATERAL VIEW:将一个表格函数应用到一个查询中的每一行,产生多个输出行。
  3. PARSE_URL:解析 URL 中的各个部分。
  4. TRANSPOSE:将多个列转为行。
  5. JSON_TUPLE:解析 JSON 格式的数据。

以上是一些常用的 Hive 函数,可以根据需要进行自定义函数的编写和注册。

二、自定义 UDF、UDTF:

自定义 UDF、UDTF

三、 UDF 要成为永久函数怎么做?如果不加 temperory,函数下次还能用吗?

创建 UDF 函数的时候,加了 temporary 关键字的是临时函数,不加 temporary 关键字的是永久函数。

临时函数和永久函数的区别:

临时函数:加了 temporary 关键字的是临时函数,当退出系统时,这个函数也将消失,如果想要调用,需要登录后重新创建。而且临时 UDF 函数可以在任意库中调用,不受库限制。

永久函数:不加 temporary 关键字的是永久函数,永久性的 UDF 函数会一直存在,不会因为退出系统而消失。但其他库想要调用永久性 UDF 函数需要在函数名前加上库名。

目录
打赏
0
0
0
0
1
分享
相关文章
|
11月前
|
Hive UDF UDTF UDAF 自定义函数详解
Hive UDF UDTF UDAF 自定义函数详解
190 2
Hive UDF UDTF UDAF 自定义函数详解
|
11月前
|
Hive反射函数的使用-程序员是怎么学UDF函数的
Hive反射函数的使用-程序员是怎么学UDF函数的
59 0
Oracle存储过程和自定义函数
Oracle存储过程和自定义函数
129 0
【Python】自定义函数、lambda函数与内置函数
【Python】自定义函数、lambda函数与内置函数
222 0
【Python】自定义函数、lambda函数与内置函数
(4)SparkSQL中如何定义UDF和使用UDF
Spark SQL中用户自定义函数,用法和Spark SQL中的内置函数类似;是saprk SQL中内置函数无法满足要求,用户根据业务需求自定义的函数。 首先定义一个UDF函数:
(4)SparkSQL中如何定义UDF和使用UDF
【Hive】(十二)Hive自定义函数详解(UDF、UDAF、UDTF)
【Hive】(十二)Hive自定义函数详解(UDF、UDAF、UDTF)
1238 0
利用 PLpgSQL 编写UDF练习题
利用 PLpgSQL 编写UDF练习题
133 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等