Apache Hive--自定义函数 UDF 开发| 学习笔记

简介: 快速学习Apache Hive--自定义函数 UDF 开发

开发者学堂课程【大数据 Hive 教程精讲Apache Hive--自定义函数 UDF 开发】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/90/detail/1382


Apache Hive--自定义函数 UDF 开发


内容介绍:

一、Hive 自定义函数和 Transform

 

一、Hive 自定义函数和 Transform

Hive 提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数(UDF: user-defined function)

UDF 开发实例

新建 JAVA maven 项目

添加 hive-exec-1.2.1.jar hadoop-common-2.7.4.jar 依赖(见参考资料)

1、写一个 java 类,继承 UDF,并重载 evaluate方法

10.png

2、打成 jar 包上传到服务器

3、将 jar 包添加到 hive classpath

hive>add JAR /home/hadoop/udf.jar;

4、创建临时函数与开发好的 java class 关联

1.png

5、即可在 hql 中使用自定义的函数 tolowercase ip

6、Select tolowercase(name) , age from t_test;

2.png

相关文章
|
4月前
|
SQL 存储 Java
Hive【Hive(八)自定义函数】
Hive【Hive(八)自定义函数】
|
6天前
|
SQL Java 数据处理
【Hive】Hive的函数:UDF、UDAF、UDTF的区别?
【4月更文挑战第17天】【Hive】Hive的函数:UDF、UDAF、UDTF的区别?
|
1月前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
|
1月前
|
SQL JSON 算法
hive学习笔记
hive学习笔记
|
1月前
|
SQL 分布式计算 Java
Apache Hudi与Hive集成手册
Apache Hudi与Hive集成手册
73 0
|
2月前
|
SQL 消息中间件 Apache
Flink报错问题之使用hive udf函数报错如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
|
3月前
|
SQL 分布式计算 安全
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
138 0
|
3月前
|
SQL 搜索推荐 Java
Hive中的UDF是什么?请解释其作用和使用方法。
Hive中的UDF是什么?请解释其作用和使用方法。
37 0
|
4月前
|
SQL 关系型数据库 MySQL
Apache StreamPark系列教程第二篇——项目打包和开发
Apache StreamPark系列教程第二篇——项目打包和开发
77 0
|
4月前
|
Apache 流计算
Apache Flink教程----2.本地开发
Apache Flink教程----2.本地开发
43 0

推荐镜像

更多