Spark 2.4.0编程指南--Spark SQL UDF和UDAF
## 技能标签
- 了解UDF 用户定义函数（User-defined functions, UDFs）
- 了解UDAF （user-defined aggregate function), 用户定义的聚合函数
- UDF示例(统计行数据字符长度)
- UDF示例(统计行数据字符转大写)
...
Hive内置运算函数，自定义函数(UDF)和Transform
4.Hive函数
4.1 内置运算符
内容较多，见《Hive官方文档》
4.2 内置函数
内容较多，见《Hive官方文档》
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
测试各种内置函数的快捷方法：
1、创建一个dual表
create table dual(id string);
2、loa
数据湖正在成为新的数据仓库
新一代数据仓库实际上是数据湖，对那些用于构建和训练机器学习模型的清洗，整合和验证的数据进行管理。例如，去年秋天在Amazon re：Invent 大会上，亚马逊网络服务公布了AWS Lake Formation。