Spark修炼之道(高级篇)——Spark源码阅读:第十二节 Spark SQL 处理流程分析
作者:周志湖
下面的代码演示了通过Case Class进行表Schema定义的例子:
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an RDD to a Da
Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL运行流程解析
1.整体运行流程
使用下列代码对SparkSQL流程进行分析,让大家明白LogicalPlan的几种状态,理解SparkSQL整体执行流程
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implic
一篇入门 -- Scala 反射
本篇文章主要让大家理解什么是Scala的反射, 以及反射的分类, 反射的一些术语概念和一些简单的反射例子.
什么是反射
我们知道, Scala是基于JVM的语言, Scala编译器会将Scala代码编译成JVM字节码, 而JVM编译过程中会擦除一些泛型信息, 这就叫类型擦除(type-erasure ).
Java8新特性总结
Java8新特性总结
Lambda 表达式
Lambda允许把函数作为一个方法的参数(函数作为参数传递进方法中)
它允许我们将函数当成参数传递给某个方法,或者把代码本身当作数据处理:函数式开发者非常熟悉这些概念
用Lambda表达式实现Runnable
我们在这里做了什么呢?那就是用() -> {}代码块替代了整个匿名类。
Scala入门到精通——第十五节 Case Class与模式匹配(二)
本节主要内容
模式匹配的类型
for控制结构中的模式匹配
option类型模式匹配
1. 模式的类型
1 常量模式
object ConstantPattern{
def main(args: Array[String]): Unit = {
//注意,下面定义的是一个函数
//函数的返回值利用的是模式匹配后的结果作为其返回值
//还
创业一年来经历的技术风雨
本文来自中生代技术群的分享,BigEye科技联合创始人与技术负责人张逸将为大家分享来自于自身创业一年来经历的技术风雨。创业的路上,且行且珍惜。