1 函数式编程

所谓的函数式编程指定就是 方法的参数列表可以接收函数对象 .

例如 : add(10, 20)就不是函数式编程, 而 add( 函数对象) 这种格式就叫函数式编程.

我们将来编写 Spark/Flink的大量业务代码时, 都会使用到函数式编程。下面的这些操作是学习的重点。

以上符号切勿混淆.

1.1 遍历 | foreach

之前，学习过了使用for表达式来遍历集合。我们接下来将学习scala的函数式编程，使用foreach方法来进行遍历、迭代。它可以让代码更加简洁。

方法签名

foreach(f: (A) ⇒ Unit): Unit
//函数是对象
//函数对象就是函数表达式

说明

foreach执行过程

示例

有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素

参考代码

// 定义一个列表
scala> val a = List(1,2,3,4)
a: List[Int] = List(1, 2, 3, 4)
// 迭代打印
scala> a.foreach((x:Int)=>println(x))

1.2 使用类型推断简化函数定义

上述案例函数定义有点啰嗦，我们有更简洁的写法。因为使用foreach去迭代列表，而列表中的每个元素类型是确定的

• scala可以自动来推断出来集合中每个元素参数的类型
• 创建函数时，可以省略其参数列表的类型

示例

1. 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
2. 使用类型推断简化函数定义

参考代码

scala> val a = List(1,2,3,4)
a: List[Int] = List(1, 2, 3, 4)
// 省略参数类型
scala> a.foreach(x=>println(x))

1.3 使用下划线来简化函数定义

当函数参数，只在函数体中出现一次，而且函数体没有嵌套调用时，可以使用下划线来简化函数定义

示例

1. 有一个列表，包含以下元素1,2,3,4，请使用foreach方法遍历打印每个元素
2. 使用下划线简化函数定义

参考代码

scala> val a = List(1,2,3,4)
a: List[Int] = List(1, 2, 3, 4)
a.foreach(println(_))

• 如果方法参数是函数，如果出现了下划线，scala编译器会自动将代码封装到一个函数中
• 参数列表也是由scala编译器自动处理

2 映射 | map

集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。

map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表

2.1 用法

方法签名

def map[B](f: (A) ⇒ B): TraversableOnce[B]
f: (A)就是函数对象,函数对象就是一个函数中的参数

方法解析

map方法解析

2.2 案例一

1. 创建一个列表，包含元素1,2,3,4
   
2. 对List中的每一个元素加1
   

参考代码

scala> a.map(x=>x+1)
res4: List[Int] = List(2, 3, 4, 5)

2.3 案例二

1. 创建一个列表，包含元素1,2,3,4
   
2. 使用下划线来定义函数，对List中的每一个元素加1
   

参考代码

scala> val a = List(1,2,3,4)
a: List[Int] = List(1, 2, 3, 4)
scala> a.map(_ + 1)

3 扁平化映射 | flatMap

扁平化映射也是将来用得非常多的操作，也是必须要掌握的。

3.1 定义

可以把flatMap，理解为先map，然后再flatten

• map是将列表中的元素转换为一个List
• flatten再将整个列表进行扁平化

方法签名

def flatMap[B](f: (A) ⇒ GenTraversableOnce[B]): TraversableOnce[B]

方法解析

3.2 案例

案例说明

1. 有一个包含了若干个文本行的列表：“hadoop hive spark flink flume”, “kudu hbase sqoop storm”
2. 获取到文本行中的每一个单词，并将每一个单词都放到列表中

思路分析

步骤

1. 使用map将文本行拆分成数组
2. 再对数组进行扁平化

参考代码

// 定义文本行列表
scala> val a = List("hadoop hive spark flink flume", "kudu hbase sqoop storm")
a: List[String] = List(hadoop hive spark flink flume, kudu hbase sqoop storm)
// 使用map将文本行转换为单词数组
scala> a.map(x=>x.split(" "))
res5: List[Array[String]] = List(Array(hadoop, hive, spark, flink, flume), Array(kudu, hbase, sqoop, storm))
// 扁平化，将数组中的
scala> a.map(x=>x.split(" ")).flatten
res6: List[String] = List(hadoop, hive, spark, flink, flume, kudu, hbase, sqoop, storm)

使用flatMap简化操作

参考代码

scala>  val a = List("hadoop hive spark flink flume", "kudu hbase sqoop storm")
a: List[String] = List(hadoop hive spark flink flume, kudu hbase sqoop storm)
scala> a.flatMap(_.split(" "))
res7: List[String] = List(hadoop, hive, spark, flink, flume, kudu, hbase, sqoop, storm)

4 过滤 | filter

过滤符合一定条件的元素

4.1 定义

方法签名

def filter(p: (A) ⇒ Boolean): TraversableOnce[A]

方法解析

4.2 案例

1. 有一个数字列表，元素为：1,2,3,4,5,6,7,8,9
   
2. 请过滤出所有的偶数
   

参考代码

scala> List(1,2,3,4,5,6,7,8,9).filter(_ % 2 == 0)
res8: List[Int] = List(2, 4, 6, 8)

5 排序

在scala集合中，可以使用以下几种方式来进行排序

• sorted默认排序
• sortBy指定字段排序
• sortWith自定义排序

5.1 默认排序 | sorted

示例

1. 定义一个列表，包含以下元素: 3, 1, 2, 9, 7
2. 对列表进行升序排序

参考代码

scala> List(3,1,2,9,7).sorted
res16: List[Int] = List(1, 2, 3, 7, 9)

5.2 指定字段排序 | sortBy

根据传入的函数转换后，再进行排序

**方法签名**

def sortBy[B](f: (A) ⇒ B): List[A]

方法解析

示例

1. 有一个列表，分别包含几下文本行：“01 hadoop”, “02 flume”, “03 hive”, “04 spark”
2. 请按照单词字母进行排序

参考代码

scala> val a = List("01 hadoop", "02 flume", "03 hive", "04 spark")
a: List[String] = List(01 hadoop, 02 flume, 03 hive, 04 spark)
// 获取单词字段
scala> a.sortBy(_.split(" ")(1))
res8: List[String] = List(02 flume, 01 hadoop, 03 hive, 04 spark)

5.3 自定义排序 | sortWith

自定义排序，根据一个函数来进行自定义排序

方法签名

def sortWith(lt: (A, A) ⇒ Boolean): List[A]

方法解析

示例

1. 有一个列表，包含以下元素：2,3,1,6,4,5
2. 使用sortWith对列表进行降序排序

参考代码

scala> val a = List(2,3,1,6,4,5)
a: List[Int] = List(2, 3, 1, 6, 4, 5)
scala> a.sortWith((x,y) => if(x<y)true else false)
res15: List[Int] = List(1, 2, 3, 4, 5, 6)
scala> res15.reverse
res18: List[Int] = List(6, 5, 4, 3, 2, 1)

使用下划线简写上述案例

参考代码

scala> val a = List(2,3,1,6,4,5)
a: List[Int] = List(2, 3, 1, 6, 4, 5)
// 函数参数只在函数中出现一次，可以使用下划线代替
scala> a.sortWith(_ < _).reverse
res19: List[Int] = List(6, 5, 4, 3, 2, 1)

6 分组 | groupBy

。我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法

6.1 定义

groupBy表示按照函数将列表分成不同的组

方法签名

def groupBy[K](f: (A) ⇒ K): Map[K, List[A]]

方法解析

groupBy执行过程分析

6.2 示例

有一个列表，包含了学生的姓名和性别:

"张三", "男"
"李四", "女"
"王五", "男"

1. 请按照性别进行分组，统计不同性别的学生人数
   

步骤

1. 定义一个元组列表来保存学生姓名和性别
2. 按照性别进行分组
3. 将分组后的Map转换为列表：List((“男” -> 2), (“女” -> 1))

参考代码

scala> val a = List("张三"->"男", "李四"->"女", "王五"->"男")
a: List[(String, String)] = List((张三,男), (李四,女), (王五,男))
// 按照性别分组
scala> a.groupBy(_._2)
res0: scala.collection.immutable.Map[String,List[(String, String)]] = Map(男 -> List((张三,男), (王五,男)),
女 -> List((李四,女)))
// 将分组后的映射转换为性别/人数元组列表
scala> res0.map(x => x._1 -> x._2.size)
res3: scala.collection.immutable.Map[String,Int] = Map(男 -> 2, 女 -> 1)

7 聚合操作

聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中

7.1 聚合 | reduce

reduce表示将列表，传入一个函数进行聚合计算

7.1.1 定义

方法签名

def reduce[A1 >: A](op: (A1, A1) ⇒ A1): A1

方法解析

reduce执行流程分析

[NOTE]

• reduce和reduceLeft效果一致，表示从左到右计算
  
• reduceRight表示从右到左计算
  

7.1.2 案例

1. 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
2. 使用reduce计算所有元素的和

参考代码

scala> val a = List(1,2,3,4,5,6,7,8,9,10)
a: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
scala> a.reduce((x,y) => x + y)
res5: Int = 55
// 第一个下划线表示第一个参数，就是历史的聚合数据结果
// 第二个下划线表示第二个参数，就是当前要聚合的数据元素
scala> a.reduce(_ + _)
res53: Int = 55
// 与reduce一样，从左往右计算
scala> a.reduceLeft(_ + _)
res0: Int = 55
// 从右往左聚合计算
scala> a.reduceRight(_ + _)
res1: Int = 55

7.2 折叠 | fold

fold与reduce很像，但是多了一个指定初始值参数

7.2.1 定义

方法签名

def fold[A1 >: A](z: A1)(op: (A1, A1) ⇒ A1): A1

方法解析

[!NOTE]

• fold和foldLet效果一致，表示从左往右计算
  
• foldRight表示从右往左计算
  

7.2.2 案例

1. 定义一个列表，包含以下元素：1,2,3,4,5,6,7,8,9,10
2. 使用fold方法计算所有元素的和

参考代码

scala> val a = List(1,2,3,4,5,6,7,8,9,10)
a: List[Int] = List(1, 2, 3, 4, 5, 6, 7, 8, 9, 10)
scala> a.fold(0)(_ + _)
res4: Int = 155