【Spark Summit EU 2016】TPC-DS基准测试下的Spark SQL2.0使用体验

简介: 本讲义出自Berni Schiefer在Spark Summit EU上的演讲,目前而言Spark SQL发展演进的速度非常迅猛,但是大多数情况下还是部署在传统的Hadoop集群上,为了尝试将Spark SQL使用在专为Spark设置的集群上,Berni Schiefer使用了最新版本的Spark SQL应对企业级标准的工作负载。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Berni Schiefer在Spark Summit EU上的演讲,目前而言Spark SQL发展演进的速度非常迅猛,但是大多数情况下还是部署在传统的Hadoop集群上,为了尝试将Spark SQL使用在专为Spark设置的集群上,Berni Schiefer使用了最新版本的Spark SQL应对企业级标准的工作负载。


在分享中,Berni Schiefer还介绍了TPC-DS基准测试的相关内容,并且讲述了从配置操作系统、网络再到配置Spark等一系列工作的体验以及最终实验的结果和体验。


9a03ac88319285a220d44166f3cb9975a5f992ca

77c3216645557444ab29050128503117c1c043a9

ff13e4ee748e89ce364d68761904d292a863f057

abd25dec8a82df2c8118634e082258a33d467ee5

cf18040454aea461fc2c9711ea1f566cd1d18496

9ea7cfbc4e7d25a2de8ee5b6ccc9871a71a05f4e

d78d040d5261ba0dc7fb64de994b6a213d7bad42

6f6107b463c01eaf3002554cc1567ba834e70d35

6f6107b463c01eaf3002554cc1567ba834e70d35

c5e63dbf4836b76147c8db5a85b3a89831511f57

50de64d4a9c5b7992da646a5a73dbf674bc8a0aa

5f20bd4ed45384ea4efba0c5f131c62d547976e5

8146bea0f8f94ba931b5367e8e718bd546563c91

4e22dfe12aad5354618c2c180918267221a22656

3f7cfe27f2b1178dd8cfead95deec9aa75805436

5df10de156b5470e546b56ab5e70ab0d7378ec9b

e70b1b8d4a469b44a771acc1acca2f6723cf2912

a4f0cad334addf4b57233a2a60ccf295ac3fdea9

14814831965c904e257b82e3cb7f4e5ae97acc37

3ecf0dcf81acb5a9150f6cbdd23890ca8fedb5cd

2373e790235c06eabb1c1b043d21e206cdeb825d

d7b8820b59219f8a4044fa4b8f0a71390de2a7cc

67823876ed2f57900b2db7f44b4b36c6a7065d56

c2baf79be2fc9b96b75a1030731481b753591590

9613d480114209bf933c14f41a66c180436553cf

f059e7bb72c3b708f2a3e89e22c8ab1ef7288f90

0444897adbbd66995bbbd81f874479c3f89d0fa0

f6bb37b915a5471ba023c414ffcae55b032e5e6a

973f1752335b6d01fdfcf56f8e6b9f4033a49a61

03b86a81c70a21c6871771ae4cd088fa7b3053f9

a96df03089bf19f4f7e09c07fd496deed357d4fb

f7e3dfaa54a3ab135f5b82589e0908c3d9c9f571

相关文章
|
4月前
|
SQL 存储 数据库
Python 的安全性和测试:什么是 SQL 注入攻击?如何防范 SQL 注入?
Python 的安全性和测试:什么是 SQL 注入攻击?如何防范 SQL 注入?
|
5月前
|
SQL 数据库
SQL 中的 NULL 值:定义、测试和处理空数据,以及 SQL UPDATE 语句的使用
NULL 值是指字段没有值的情况。如果表中的字段是可选的,那么可以插入新记录或更新记录而不向该字段添加值。此时,该字段将保存为 NULL 值。需要注意的是,NULL 值与零值或包含空格的字段不同。具有 NULL 值的字段是在记录创建期间留空的字段。
59 0
|
7月前
|
SQL 关系型数据库 数据挖掘
软件测试|教你学会SQL LEFT JOIN的使用
软件测试|教你学会SQL LEFT JOIN的使用
33 0
|
7月前
|
SQL 存储 关系型数据库
软件测试|SQL JOIN的用法,你会了吗?
软件测试|SQL JOIN的用法,你会了吗?
46 0
|
3月前
|
SQL 安全 关系型数据库
接上篇文章,在测试宝塔 WAF 的未授权访问漏洞时无意间还发现了一个 SQL 注入漏洞
接上篇文章,在测试宝塔 WAF 的未授权访问漏洞时无意间还发现了一个 SQL 注入漏洞,品相还不错,可执行任意 SQL 语句。 总之,吃了一惊,一个防 SQL 注入的工具居然也有 SQL 注入漏洞。 请看这段代码
424 1
|
8月前
|
SQL 测试技术 数据处理
软件测试|SQL DEFAULT约束怎么用?
软件测试|SQL DEFAULT约束怎么用?
64 0
|
10天前
|
分布式计算 Hadoop Scala
Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
【4月更文挑战第13天】Spark【环境搭建 01】spark-3.0.0-without 单机版(安装+配置+测试案例)
17 0
|
4月前
|
SQL 数据挖掘 关系型数据库
「SQL面试题库」 No_87 学生们参加各科测试的次数
「SQL面试题库」 No_87 学生们参加各科测试的次数
|
5月前
|
SQL Java 数据库连接
【Java调试】通过SqlSessionFactory类对象获取mapper文件内的动态SQL在执行时的完整SQL及参数(2种使用方法+测试Demo及结果)
【Java调试】通过SqlSessionFactory类对象获取mapper文件内的动态SQL在执行时的完整SQL及参数(2种使用方法+测试Demo及结果)
55 0
|
5月前
|
SQL 关系型数据库 PostgreSQL
PostgreSQL【部署 01】离线安装PostgreSQL+PostGIS踩坑及问题解决经验分享(含安装文件PostgreSQL+PostGIS及多个依赖+测试SQL)
PostgreSQL【部署 01】离线安装PostgreSQL+PostGIS踩坑及问题解决经验分享(含安装文件PostgreSQL+PostGIS及多个依赖+测试SQL)
127 0