好程序员大数据培训分享spark之Scala

简介:

  好程序员大数据培训分享spark之Scala,基本语法:变量,变量的定义:不可变:val a = 2 或者 val a : Int = 2 (指定了数据类型) lazy val a : Int =2
可变:var a = 2 或者 var a : Int = 2(指定了数据类型)
def a = 2
定义变量不能1.以数字以及特殊符号(_除外)开头 2.以关键字(var、val、class等)开头
def定义的是??
var 编译后有set 与 get 方☐法 所以可以重新赋值
val 编译后只有get方法 所以不能再赋值了
lazy 惰性变量,只在该变量被调用的时候才实例化,而且后面只能跟val
def 与val 差不多 不能重新赋值 更多修饰方法
Scala变量的类型:Any是scala的顶级类型,Any下有AnyVal(值类型)和AnyRef(引用类型)两个子类
AnyVal : 它有9个类型,其中7个是指类型:Double Float Byte Int Short Long Char 和两个非值类型:Unit Boolean
AnyRef : 是引用类型,它的子类有:List Option 或者自定义的并继承它的class
所有的类型都需要首字母大写
Scala会自动推断类型
Scala数据类型可以从低到高转换 Byte-Short-Int-Long-Float-Double
Char-Int-Long-Float-Double
注意:scala内没有强转
操作符
Scala里没有操作符的概念,所谓的操作符其实都是方法
数学运算:+ - * / : % .+ ( ) 注:x+y 与 x.+(y)等价
关系:< <= > >= ! != ==
位运算: | & ^
如果两个不一样类型的变量进行运算,最终结果的类型是大的那个类型
如果想要格式化输出:var x =5 var y = 5
var n =x + y
print(s”x+y=$n”) 输出结果 x+y=10
当然也可以在结果前面加字符串”x+y”
条件表达式
这种打出来是空,因为else里不是一个值,而是一个赋值语句
正常应该是 var res = if(sex == 1){“男”}else{“女”}
因为大括号里只有一个‘表达式’,大括号可以省略
var res = if(sex == 1)“男”else“女”
for循环
for(i<- 1 to 10){println (i)} //打印1-10
for(i <- 1 until 10){println (i)} //打印1-9
val arr = Array(“java”,”scala”,”python”) //定义一个数组
for(i<- arr){println (i)} //打印数组内容
for(i <- 1 to 3 ;j <- 1 to 3 if(i != j)){println(i*10+j)} //相当于双层for循环
val arr =for(i <- 1 until 10) yield (i) //把0-9循环出来后封装进arr集合
val arr =for(i <- 1 until 10) yield (i*10)
val res2 = for(i <- arr if i%2 == 0) yield i*100 //过滤
val arrf = bf.filter(_ %2==0).map(_ *100) //过滤 _ 是全部数据的意思
在scala中不支持break语句,但在scala 2.8之后 可以利用Breaks方式来实现
方法
def m1(x : Int , y : Int ) : Int = {x + y} //三种声明方式
def m2(x:Int , y:Int) {print(x+y)}
def m3(x:Int , y:Int){x+y}
解释:m1是方法名 xy是int型的参数 括号外的int是返回值类型 x+y是方法
调用:m1 (3,4)
函数
val f1 = (x:Int , y:Int) => x+y //声明
val f1 = (x:Int , y:Int) =>{
val sum = x+y
sum*100} //最后一句作为函数的返回值 函数没有返回值类型
回车之后会看到
f1: (Int, Int) => Int =
这里的function2中的2指的是参数的个数
调用:f1 (3,4) //与方法的调用一致
函数与方法的关系???
我们通过一个案例来探讨:
首先创建一个方法:def func (yAge:Int,mAge:Int):String={
val a : Boolean = yAge >= mAge
val str : String = if(a) "哥哥" else "弟弟"
str
}
我们发现这个条件可以做成一个函数:val m = ( yAge:Int , mAge:Int ) = >{yAge >= mAge}
我们可以调用函数:def func1 (yAge:Int,mAge:Int):String={
val a : Boolean = m(yAge,mAge)
val str : String = if(a) "哥哥" else "弟弟"
}
我们也可以把函数当做一个参数传入到方法中:
def func1(yAge:Int,mAge:Int,f:(Int,Int) =>Boolean):String={
var a= f(yAge,mAge) 或者var a :Boolean = f(yAge,mAge)
val res : String=if(a)"哥哥" else "弟弟"
res
}
调用: println(func1(18,20,m))

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
723 0
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
1289 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
814 79
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
798 2
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
730 1
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
1010 1
|
分布式计算 大数据 OLAP
AnalyticDB与大数据生态集成:Spark & Flink
【10月更文挑战第25天】在大数据时代,实时数据处理和分析变得越来越重要。AnalyticDB(ADB)是阿里云推出的一款完全托管的实时数据仓库服务,支持PB级数据的实时分析。为了充分发挥AnalyticDB的潜力,将其与大数据处理工具如Apache Spark和Apache Flink集成是非常必要的。本文将从我个人的角度出发,分享如何将AnalyticDB与Spark和Flink集成,构建端到端的大数据处理流水线,实现数据的实时分析和处理。
625 1