UDF,UDAF,UDTF 概念及常用函数

一、UDF,UDAF,UDTF 概念，常用函数：

UDF、UDAF 和 UDTF 都是 Hive 中的用户自定义函数类型：

1. UDF：用户自定义标量函数 (User-Defined Function)，用于处理单个数据项并返回单个结果的函数类型，即一进一出。例如，将一个字符串转为大写字母。
   
2. UDAF：用户自定义聚合函数 (User-Defined Aggregation Function)，用于处理多个数据项并返回单个结果的函数类型，即多进一出。例如，计算一个列的平均值。
   
3. UDTF：用户自定义表格函数 (User-Defined Table Function)，用于将一个输入转为多个输出的函数类型，即一进多出（如 lateral view explode()）。例如，将一行数据拆分成多个单词。
   

以下是一些常用的 Hive UDF、UDAF 和 UDTF 函数：

UDF 函数：

1. CONCAT：连接多个字符串。
   
2. UPPER：将字符串转为大写字母。
   
3. LOWER：将字符串转为小写字母。
   
4. TRIM：删除字符串中的空格。
   
5. SUBSTR：截取字符串的一部分。
   

UDAF 函数：

1. AVG：计算一个数值列的平均值。
   
2. SUM：计算一个数值列的总和。
   
3. MAX：计算一个数值列的最大值。
   
4. MIN：计算一个数值列的最小值。
   
5. COUNT：计算一个数值列的行数。
   

UDTF 函数：

1. EXPLODE：将一个数组或者一个 Map 类型的列拆分成多行。
   
2. LATERAL VIEW：将一个表格函数应用到一个查询中的每一行，产生多个输出行。
   
3. PARSE_URL：解析 URL 中的各个部分。
   
4. TRANSPOSE：将多个列转为行。
   
5. JSON_TUPLE：解析 JSON 格式的数据。
   

以上是一些常用的 Hive 函数，可以根据需要进行自定义函数的编写和注册。

二、自定义 UDF、UDTF：

自定义 UDF、UDTF

三、 UDF 要成为永久函数怎么做？如果不加 temperory，函数下次还能用吗？

创建 UDF 函数的时候，加了 temporary 关键字的是临时函数，不加 temporary 关键字的是永久函数。

临时函数和永久函数的区别：

临时函数：加了 temporary 关键字的是临时函数，当退出系统时，这个函数也将消失，如果想要调用，需要登录后重新创建。而且临时 UDF 函数可以在任意库中调用，不受库限制。

永久函数：不加 temporary 关键字的是永久函数，永久性的 UDF 函数会一直存在，不会因为退出系统而消失。但其他库想要调用永久性 UDF 函数需要在函数名前加上库名。