Scala入门到精通——第二十九节 Scala数据库编程
本节主要内容
Scala Maven工程的创建
Scala JDBC方式访问MySQL
Slick简介
Slick数据库编程实战
SQL与Slick相互转换
本课程在多数内容是在官方教程上修改而来的,官方给的例子是H2数据库上的,经过本人改造,用在MySQL数据库上,官方教程地址:http://slick.typesafe.com/doc/2.1.0/sql-to-sl
Spark修炼之道(基础篇)——Linux大数据开发基础:第九节:Shell编程入门(一)
本节主要内容
shell编程简介
变量定义
常用特殊变量
1. shell编程简介
学习linux操作系统最让人着迷的事情莫过于shell脚本编程,这是因为如果要完成某些复杂的功能,单纯地通过GUI操作不可能达到,shell脚本可以直接与操作系统内核打交道,从而完成任意复杂的任务。shell有很多种,最常用的是Bash (Bourne Again Shell),它是L
【译】Java 8的新特性—终极版
文/杜琪(简书作者)
原文链接:http://www.jianshu.com/p/5b800057f2d8
著作权归作者所有,转载请联系作者获得授权,并标注“简书作者”。
声明:本文翻译自Java 8 Features Tutorial – The ULTIMATE Guide,翻译过程中
【Spark Summit East 2017】Spark中的草图数据和T-Digest
本讲义出自Erik Erlandson在Spark Summit East 2017上的演讲,大型数据集的草图概率分布的算法是现代数据科学的一个基本构建块,草图在可视化、优化数据编码、估计分位数以及数据合成等不同的应用中都有应用之地,T-Digest是一个通用的的草图的数据结构,并且非常适合于map-reduce模式,演讲中演示了Scala原生的T-Digest草图算法实现并证实了其在Spark的可视化展示、分位数估计以及数据合成的作用。
Spark修炼之道(高级篇)——Spark源码阅读:第十二节 Spark SQL 处理流程分析
作者:周志湖
下面的代码演示了通过Case Class进行表Schema定义的例子:
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implicitly convert an RDD to a Da
Spark修炼之道(进阶篇)——Spark入门到精通:第九节 Spark SQL运行流程解析
1.整体运行流程
使用下列代码对SparkSQL流程进行分析,让大家明白LogicalPlan的几种状态,理解SparkSQL整体执行流程
// sc is an existing SparkContext.
val sqlContext = new org.apache.spark.sql.SQLContext(sc)
// this is used to implic