Spark 2.4.0编程指南--Spark SQL UDF和UDAF
## 技能标签
- 了解UDF 用户定义函数（User-defined functions, UDFs）
- 了解UDAF （user-defined aggregate function), 用户定义的聚合函数
- UDF示例(统计行数据字符长度)
- UDF示例(统计行数据字符转大写)
...
使用Apache Arrow助力PySpark数据处理
Apache Arrow从Spark 2.3版本开始被引入，通过列式存储，zero copy等技术，JVM 与Python 之间的数据传输效率得到了大量的提升。本文主要介绍一下Apache Arrow以及Spark中的使用方法。
12 种编程语言的起源故事
过去的几十年间，大量的编程语言被发明、被替换、被修改或组合在一起。每种语言总在争论中诞生，又在进化中消亡。而这些语言的的创造者，无一不是编程世界中的标志性人物，高举探索的旗帜不断前行。敬仰之情促使了这篇文章的诞生，这里收集并分享了这五十年来最成功、最流行的十二门编程语言和它们的创造者的故事