【Spark Summit EU 2016】SparkSheet:将电子表格转化进Spark DataFrame

简介: 本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,主要介绍了将在Excel电子表格制作的Spark原型转化为Spark程序的SparkSheet,其可以看做是Excel编译器,可以构建从Excel转化为Spark程序的直接通路,本讲义还介绍了SparkSheet的架构体系以及整个的编译过程。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Oscar Castaneda在Spark Summit EU上的演讲,主要介绍了将在Excel电子表格制作的Spark原型转化为Spark程序的SparkSheet,其可以看做是Excel编译器,可以构建从Excel转化为Spark程序的直接通路,本讲义还介绍了SparkSheet的架构体系以及整个的编译过程。


Spark程序的原型可以使用Excel对其进实现,但是将Excel形式手动转化成为Spark程序却非常繁琐并且容易出错。构建Excel形式与Spark程序之间转化的直接路径可以利用DataFrame API实现Excel编译器。


6afb2f5e80ca99d4058b237aa47a760d966453ec

e6e63de74f21ec70b8faabec1a1dfb094576fc90

f25583bc806491c22d5c003b549aa4eb602ee284

1bebaf9b90471105fe726c30a685e1d39acc146b

b798724590ebe318b7817138df0479851bc71a52

c3ce5758685ca5bc9713543d67a017e97b5472e5

0840fc8d02549be6751691eda4f4f8fc75214836

f69793609f9272b384384c33aa83fed0cb4bc1b6

d4e694a334d230f6511efc76a2e6d11d6673e78c

42d862a4bf74b039e70c3acecb1a7dcd1c1768a2

555e78be93efe94f964290d01b63cb43ef8ab247

06365be94c9c16f26b40d4ef34e6c7b0c6159027

99f17483c6d705ddcadf5943b56a1d5e19d41665

aa6fb29d57ccf5836c7561321a3ea84677f09098

1ec7def862a4e2c33260283a75bd6b26b751d0ab

c5a175df5880e9880e6af89d2a5b830685ba7898

cbb601e4d514336ba47fbe7b6eb08c6bb777a9ee

a9ed58f7f60d5524edf275a1e255b0abea58430b

254d1dec01427a82d75f34394bfb940d39113174

be586626b71576d34c9db121707c3ec146e2682a

8642647e4bdbcb648edd808915c9525b4baef49e

32ad346bf98a78799706332ce54b11f5bccd28dd

49f9b7cd6a31ec7bd713dff069b9eb108f7a9d8a

11c10ef6877ef1fb999c7858f301d7f2364576fb

e0dd214a8be33179a9c4a7f1c99bac838defdbf4

8b4333e402a6e3ef185c328c903e1214e22739a0

9bd3b029c2f1a7d03c8cf2ddfcaaca6e3abdc593

539f5d09746a881d8b42336d77fd6d122f22219d

4af43efb6f13dc6d86a1ba4fcdbe23f977120ce5

c0115c6f6f2bbfe7cb17120c6375fad73fa259c6

db07d7ae58d57fb4fdadf143ef32a199d34b0f9a

723e4c63d38baa8469f05fb9565f88e75347d79e

77bf85da4ee27b26fa5eacd113992ce960565c0f

0e96d37aff40f89f28c700ac3e2dfcc3b395a5cd

7d35573e9172207e5ea5507c096c5106a0d39aa8

相关文章
|
6月前
|
SQL 分布式计算 数据库
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
【大数据技术Spark】Spark SQL操作Dataframe、读写MySQL、Hive数据库实战(附源码)
227 0
|
6月前
|
SQL 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示(图文解释)
【大数据技术Hadoop+Spark】Spark SQL、DataFrame、Dataset的讲解及操作演示(图文解释)
158 0
|
SQL 分布式计算 HIVE
pyspark笔记(RDD,DataFrame和Spark SQL)1
pyspark笔记(RDD,DataFrame和Spark SQL)
118 1
|
分布式计算 大数据 Spark
大数据Spark DataFrame/DataSet常用操作4
大数据Spark DataFrame/DataSet常用操作4
64 0
|
分布式计算 大数据 Spark
大数据Spark DataFrame/DataSet常用操作3
大数据Spark DataFrame/DataSet常用操作3
92 0
|
分布式计算 大数据 Spark
大数据Spark DataFrame/DataSet常用操作2
大数据Spark DataFrame/DataSet常用操作2
80 0
|
25天前
|
SQL 分布式计算 大数据
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
大数据-94 Spark 集群 SQL DataFrame & DataSet & RDD 创建与相互转换 SparkSQL
36 0
|
3月前
|
SQL 存储 分布式计算
|
6月前
|
SQL 分布式计算 数据挖掘
Spark_Day07:Spark SQL(DataFrame是什么和数据分析(案例讲解))
Spark_Day07:Spark SQL(DataFrame是什么和数据分析(案例讲解))
166 0
|
6月前
|
JSON 分布式计算 关系型数据库
Spark中使用DataFrame进行数据转换和操作
Spark中使用DataFrame进行数据转换和操作