Spark(七) -- Scala快速入门

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45830709 Scal...
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/45830709

Scala作为Spark的开发语言,想要成为Spark高手,精通Scala是必须要走的一条路
然后一门语言并不是你想精通就能够精通的,更何况是Scala这种面向对象又面向函数的编程语言,个人觉得其学习的门槛会比C#,Java等面向对象语言要高
所以,这篇文章是建立在有一点编程语言知识的基础上的(如学过C#或者Java等),其实所有语言都是大同小异的,学会了一门语言在学其他的就不会像刚开始那么吃力了,因为它们很多概念都是相通的
本篇文章主要是介绍Scala本身的一些特性,以便以能够快速的上手开发,而对于真正要精通Scala,显然要付出的努力还要很多

安装Scala的开发环境就不具体介绍了,请自行百度之。IDE使用的是Eclipse For Scala,下载地址:
Eclipse For Scala

本文大概从以下几个方面来介绍Scala:

  1. 声明变量的关键字
  2. 方法的定义格式
  3. 条件表达式
  4. 默认参数,带名参数和变长参数
  5. lazy变量
  6. 数组
  7. Map操作
  8. 元组
  9. 值函数
  10. 匿名函数
  11. 函数柯里化
  12. 高阶函数示例
  13. List序列
  14. case class和模式匹配

Scala中声明变量的关键字只有两种:
val和var,分别表示常量和变量的声明(在Scala提倡中尽量使用val而不是var)

方法的定义格式:
def 方法名(参数名:参数类型,…):返回值类型={方法体}
如:

def add(x:Int,y:Int):Int={
    x + y
}

定义了一个参数为两个Int类型,返回值也为Int类型的方法add,返回x+y的值
相信已经有人注意到了,在Scala中,每个句子是不用以分号结束的(当然加上分号也没事),而且方法中不用return来返回,默认返回的是最后一行的值
当方法没有返回值时表现形式为:

def add():Unit={...}

或者直接省略:Unit

def add()={...}

在调用方法的时候,如果该方法没有参数,可以省略括号,如:

add//加上括号也没事,如add()

条件表达式:

和其他语言的if/else唯一的却别就是,Scala的if/else是有返回值的

val x = 8
val res = if(x > 7) 1 else 0

如果x>7就返回1,否则返回0,赋值给res

Scala中的while和do-while用法是和其他语言一样的,但是for的用法就不同了
for循环语句的格式为:

for(i <- 表达式){
    循环体
}

例如:

for(i <- 1 to 10){
    println(i)
}

上面代码中,1 to 10会产生1-10中的每个数,i会迭代循环这10个数,迭代一次执行一次循环体。
刚开始看肯定会很奇怪,<-这个符号是必须的,现在假设我们有一个arr数组,里面有1-10这10个数
首先用C#的循环方式为:

for(int i = 0;i < arr.Length;i++)
{
    Console.WriteLine(arr[i]);
}
//或者foreach方式
foreach(var i in arr)
{
    Console.WriteLine(i);
}

在对比一下Scala的for循环:

for(i <- 0 to arr.length){
    println(arr[i])
}
//for同时也可以当foreach使用
for(i <- arr){
    println(i)
}

并且,在Scala中,for循环是可以添加if判断语句的,如:

for(i <- 0 to 10 if i % 2 == 0){
    println(i)
}

上面代码的意思是,循环0-10,只打印出偶数
Scala的循环表达式中没有continue和break语句,但是可以通过一个Boolean变量和嵌套函数中return来实现

默认参数,带名参数和变长参数:

这几个概念很简单,通过几行实例代码基本可以了解
默认参数:

def getName(name:String = "JChubby") = {...}

调用getName时如果没有传参数,则会使用默认的JChubby

带名参数:

def showNum(x:Int,y:Int):Unit = {...}

调用该方法时,参数可以不按顺序,但是要执行参数名:

showNum(y = 2,x = 4)

变长参数:

def canChangeLength(x:Int*) = {...}

调用时:

canChangeLength(1,2,3,4,...)

lazy变量:

正常情况下使用val或者var声明变量时是直接分配内存空间使用的
当使用lazy关键字时,这个常/变量只有在使用的时候才会被分配内存
如在Scala命令行中输入下面的代码之后回车:

lazy val a = 1

这里写图片描述

lazy(懒值)对应开销很大的初始化操作非常有用,如在读取一个很大的文件的时候,如果一开始并不马上使用,可以将其标记为lazy,直到文件真正使用的时候才分配内存空间

数组:

Scala中分为两种:
定长数组:scala.collection.immutable.Array,一旦声明之后长度不可变
变长数组:scala.collection.mutable.ArrayBuffer,动态数组

定长数组使用:

val arr = new Array[Int](3)//声明长度为3,类型为Int的Array数组(new可省略)

//或者声明时直接赋值
//编译器会自动推断类型为Int
val arr = Array(1,2,3)

//通过下标访问数组的方式为()而不是[],请注意!
val a = arr(0)

变长数组使用:

val arrBuf = scala.collection.mutable.ArrayBuffer[Int]()
//添加元素,相当于add
arrBuf += 1
//也可以一次性添加多个
arrBuf += (1,2,3)
//使用++=可以直接添加一个数组
arrBuf ++= Array(1,2,3)
//在指定位置插入若干个元素,在0位置插入1,2,3
arrBuf.insert(0,1,2,3)
//Scala中的函数除了通过.来调用之外也可以直接写成一下形式
arrBuf insert (0,1,2,3)
//之前的1 to 10 其实就是调用了1.to(10)这个to方法

//移除指定位置的元素
arrBuf remove 0
//移除指定位置后的连续n个元素
arrBuf remove 0,3
//删除末尾的n个元素
arrBuf trimEnd 3

此外还有例如min,max等函数求最大最小等常用操作

Map操作:

和数组一样,Map同样也分为可变和不可变两种

不可变Map的使用:

//声明一个Map,包含两个键值对,->表示键值对应的关系
val myMap = Map("JChubby" -> 22,"Looky" -> 21)

不可变的Map中,一旦声明之后,该Map不可添加不可删除不可修改,只能查看,查看方式与可变Map一致

可变Map的使用:

val myMap = scala.collection.mutable.Map("JChubby" -> 22,"Looky" -> 21)
//添加元素
myMap += ("abc" -> 12,"bcd" -> 13)
//删除元素
myMap -= "abc"
//修改元素
myMap("JChubby") = 10
//或者
myMap += ("JChubby" -> 10)
//查找元素
myMap("JChubby")
//或者使用getOrElse,该方法在取不到值的时候返回一个默认值,以免出现异常
myMap getOrElse ("JChubby",-1)
//遍历,使用的是k,v格式来进行遍历
for((k,v) <- myMap){
    println(k + ":" + v)
}
//如果只要遍历k或者v,可以使用_占位符
for((k,_) <- myMap){
    println(k)
}
//获取所有的key
myMap.keySet
//获取所有的value
myMap.values

元组:

元组其实就是一个集合,但是可以存放各种不同类型的数据
例如:

val group = (1,2,"JChubby",3.0)
//通过下标访问元组的格式为:元组名._下标 或者 元组名 _下标。如:
group._0
group _0
//遍历元组格式为,productIterator为固定格式不可少
for(element <- group.productIterator){
    ...
}

值函数:

Scala中可以将函数赋值给一个变量,这个变量就称为值函数

def add(x:Int,y:Int):Int = {
    x + y
}

//格式为方法名+空格+_
var res = add _
//之后可以将这个变量当做方法来用
res(1,2)

匿名函数:

顾名思义,没有名字的函数,定义格式如下:
(参数名:参数类型,…) => 表达式
例如:

(x:Int) => x + 3

可以将匿名函数赋值给一个常量

val func = (x:Int) => x + 3
//直接调用常量
func(7)

上面的用法其实和直接定义一个有名的函数是一样的,匿名函数主要是当做函数的参数来传递使用
例如scala.collection.mutable.ArrayBuffer的map方法,其参数要求是一个匿名函数

scala.collection.mutable.ArrayBuffer.map((x:Int) => x +3)

执行的结果是ArrayBuffer里面每个值都加3(map函数之后会介绍)

函数柯里化:

函数柯里化就是将原本有 很多参数 的函数,分成一个个只有 一个参数 的函数,每个函数的返回值都是 一个表达式 并且当做参数 传到下一个函数
例如:

def mul(x:Int,y:Int) = x + y
//调用方式为
mul(1,2)
//柯里化后的函数为
def mul(x:Int)(y:Int) = x + y
//调用当时为
mul(1)(2)
//执行mul(1)时,返回的是1 + y,在将这个函数应用到2,得到 1 + 2

柯里化是闭包的典型体现,具体柯里化的概念请百度之~

高阶函数示例:

数组的map函数

val arr = Array(1,2,3)
arr.map(1 + _)

_表示数组中的每个元素,执行的结果为每个元素+1

数组的filter函数

arr.filter(_ > 2)

_ > 2会将数组中大于2的元素过滤出来

数组的reduce函数

arr.reduce(_ + _)

reduce是迭代运算,将数组中两个元素先执行操作,把结果作为一个元素继续和下一个元素进行操作,执行结果为:1+2=3,3+3=9,也就是求和

List序列:

List操作:

val list = List(1,2,3)
//获取头元素
list.head
//获取除了头元素之外的其他元素
list.tail
//新增元素
7::list
//注意,::运算符是从右向左的

//获取前n个元素
list.take(n)
//list的zip操作
val list1 = List(a,b,c)
list.zip(list1)
//得到的结果为List((1,a),(2,b),(3,c)),如果两个list的长度不同,以比较短的为基础

//flatten操作
val list2 = List(List(1,2),List(2,3),List(3,4))
list2.flatten
//得到的结果为List(1,2,2,3,3,4),用于将嵌套List组合成一个新的List

//flatmap操作
list2.flatmap(_.map(_ * 2))
//跟flatten相比,flatmap在组合之前,会先对每个子List进行map操作

case class和模式匹配:

case class又称为样例类,和普通的类相比,样例类不用new就可以实例化,默认执行的是apply方法来构造对象

模式匹配:

和其他语言的switch功能差不多,但是Scala里面使用的是match
使用示例:

val res = 1
res match{
    case 0 => println(0)
    case 1 => println(1)
    case 2 => println(2)
}

除了用法格式上略有不同,其余的基本类似,并且不需要使用break关键字

样例类和模式匹配结合使用:

//定义抽象类Human
abstract class Human
//分别定义用例类Chinese,Japanese,American都继承自Human
case class Chinese(name:String) extends Human
case class Japanese(name:String) extends Human
case class American(name:String) extends Human

//定义模式匹配方法
def caseMatch(human:Human){
    //human参数类型不同,做出不同处理,Chinese(_)表示只关心是不是Chinese而不关心叫什么名字
    case Chinese(_) => println("Chinese")
    case Japanese(_) => println("Japanese")
    case American(_) => println("American")
}
相关文章
|
1月前
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
49 5
|
1月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
48 3
|
1月前
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
38 0
|
1月前
|
消息中间件 存储 分布式计算
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
大数据-103 Spark Streaming Kafka Offset管理详解 Scala自定义Offset
81 0
|
1月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源:JSON、CSV、JDBC、Hive
34 0
|
1月前
|
缓存 分布式计算 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(一)
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(一)
41 0
|
1月前
|
分布式计算 算法 大数据
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(二)
大数据-90 Spark 集群 RDD 编程-高阶 RDD容错机制、RDD的分区、自定义分区器(Scala编写)、RDD创建方式(二)
47 0
|
机器学习/深度学习 分布式计算 资源调度
《Scala机器学习》一一3.5 Spark的性能调整
本节书摘来自华章出版社《Scala机器学习》一 书中的第3章,第3.5节,作者:[美] 亚历克斯·科兹洛夫(Alex Kozlov)著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。
1407 0
|
机器学习/深度学习 分布式计算 调度
|
1月前
|
分布式计算 大数据 Java
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方
21 1
大数据-86 Spark 集群 WordCount 用 Scala & Java 调用Spark 编译并打包上传运行 梦开始的地方