AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】在数据仓库中引入Dataframes+Parquet

2017-02-12 1628
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Sol Ackerman与Franklyn D'souza在Spark Summit EU上的演讲，在已存在的数据仓库中使用Dataframes+Parquet的经验方法，实现了在保证原有代码的情况下，引进Dataframes+Parquet，并且重写比较慢的工作作为Dataframes的管道，用Spark对从输入端流入的数据进行处理并输出。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Sol Ackerman与Franklyn D'souza在Spark Summit EU上的演讲，在已存在的数据仓库中使用Dataframes+Parquet的经验方法，实现了在保证原有代码的情况下，引进Dataframes+Parquet，并且重写比较慢的工作作为Dataframes的管道，用Spark对从输入端流入的数据进行处理并输出。


ca7cd6861b02f8d1a4fb9bac559c996eca604d29
cec66b1e7363d15cfd6efe3978a279f8ed8ba822

18a67c1b98012e1501840f20048dbf84798b3a72

42d61af480f06b155913ed61436cdf6e9b6895e1

a60f51d5d96fb86d757b0ad4415d3c18fc21da81

05207b7dfb9b4e2daa2cc7e1d1cf37d285b56080

350cf31acab6d829826bab10c81daeda6c91d358

61dfa5fcd97fb36dda8a6bd1d7daf15fec82c6a0

f705081aea22a38d3bf4c5bcfbe8cb9ab9cb40ff

62bbf8987f1fc5aa3066e5db167f6010de06e13f

2a80221df8271ee892423cd3c671888973d7056b

0ac0cced25e92c83643c29fb0f7c353b4138bce3

cabb5345d4de3460dbb9a9eca631c44e5241c175

b7cb5cc230390b2e1fcd8a4812ec4186fedb6c69

6d1f7f3d2d2d4edaa76dad42a1fd203e10b64844

bdbb6f3e8b403f8c08f0d49eafd19999b9d5e9c9

96c0c5a09d4fbd1a65f00a0cff000cfedd6e3348

8b6c93489f1046a5560c7a70c1ea487aac22bab6

1ad8d0a92c1213c488e9d0b846795683480c070f

815e300ba38a5063c50feae060e4b0cba916a918

bf3cde5aa95b6e89ae6f5cd33695537c0f29e96f

da0fc5cce1f9bcf5e42193d46accd3145d767242

a247792e1da24f8dd3b548059a43e93a9d0d73ce

6e82d5c352700b7fc07713ac1a14ea76f0351377

4d5ba274759c04166c759db9321b342b3598c27d

20610162011b0346f8a35c313fc0d7ae95b2d227

3c4d716ec7efb351e0f9524bb10ba2b6405158fd

49c9450f4445cb6a1ef588126bcc29f63207b08e

e7133a121cef186e478c099c99d2e2fdf20de7b7

b9be11327cd339ed1ee6eec065aaf70024ffdc05

文章标签：
分布式计算
Spark
大数据
MaxCompute
关键词：
数据仓库spark
apache spark数据仓库
apache spark DataFrames
apache spark parquet
apache spark summit
小猫吃鱼569
目录
相关文章
阿甘兄
|
SQL 分布式计算 数据挖掘
197 Spark DataFrames概述
197 Spark DataFrames概述
阿甘兄
86 0
热烈的马
|
7月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
热烈的马
1144 0
BIT_666
|
存储 SQL JSON
Spark - 一文搞懂 parquet
parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面主要讲parquet 文件在 spark 场景下的存储，读取与使用中可能遇到的坑。......
BIT_666
2225 0
Spark - 一文搞懂 parquet
阿甘兄
|
SQL 分布式计算 Shell
198 Spark DataFrames创建
198 Spark DataFrames创建
阿甘兄
71 0
about云
|
SQL 分布式计算 HIVE
spark sql编程之实现合并Parquet格式的DataFrame的schema
spark sql编程之实现合并Parquet格式的DataFrame的schema
about云
354 0
spark sql编程之实现合并Parquet格式的DataFrame的schema
857技术社区
|
存储 SQL 分布式计算
【Parquet】Spark读取Parquet问题详解……
【Parquet】Spark读取Parquet问题详解……
857技术社区
880 0
【Parquet】Spark读取Parquet问题详解……
6hkip34i2a7n6
|
存储 分布式计算 大数据
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
6hkip34i2a7n6
558 0
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
游客wkxim4agoo6le
|
SQL 分布式计算 Spark
Spark SQL中基于parquet数据的加载方式、数据源的自动分区推断以及数据源的元数据合并
笔记
游客wkxim4agoo6le
189 0
阿里云E-MapReduce团队
|
存储 SQL 分布式计算
数据湖实操讲解【 JindoTable 计算加速】第十九讲：Spark 对 OSS 上的 Parquet 数据进行查询加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
531 0
数据湖实操讲解【 JindoTable 计算加速】第十九讲：Spark 对 OSS 上的 Parquet 数据进行查询加速
dasein58
|
SQL 存储 JSON
Apache Spark，Parquet和麻烦的Null
　　关于类型安全性的经验教训，并承担过多 　　介绍 　　在将SQL分析ETL管道迁移到客户端的新Apache Spark批处理ETL基础结构时，我注意到了一些奇特的东西。 开发的基础结构具有可为空的DataFrame列架构的概念。 乍看起来似乎并不奇怪。 大多数（如果不是全部）SQL数据库都允许列为可空或不可空，对吗？ 让我们研究一下在创建Spark DataFrame时，这种看似明智的概念为什么会带来问题。 　　from pyspark.sql import types 　　schema=types.StructType([
dasein58
891 0

热门文章

最新文章

  • 1
    Spark Master启动源码分析
  • 2
    Spark-spark streaming
  • 3
    Spark本地环境搭建（local模式）
  • 4
    Spark PruneDependency 依赖关系 RangePartitioner
  • 5
    spark1.4加载mysql数据 创建Dataframe及join操作连接方法问题
  • 6
    Spark为什么只有在调用action时才会触发任务执行呢（附算子优化和使用示例）？
  • 7
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
  • 8
    利用闪存优化在Cosco基础上的Spark Shuffle
  • 9
    Spark Shell入门教程（上）
  • 10
    领英如何应对Apache Spark的Scalability挑战
  • 1
    从离线到实时：无锡锡商银行基于 Apache Doris 的数据仓库演进实践
    65400
  • 2
    SQL Server仓储物流公司visual studio发货数据仓库设计
    79
  • 3
    云原生数据仓库产品使用合集之在使用 ADB 进行数据分析处理时，出现分区倾斜的情况，如何解决
    486
  • 4
    云原生数据仓库产品使用合集之在云数据仓库ADB中，GROUP BY操作中出现NULL值,如何解决
    959
  • 5
    云原生数据仓库产品使用合集之如何使用ADB MySQL湖仓版声纹特征提取服务
    433
  • 6
    云原生数据仓库产品使用合集之可以把ADB MySQL湖仓版数据库做成页面查询的数据库吗
    232
  • 7
    云原生数据仓库产品使用合集之怎样才可以提高云数据ADB的执行速度
    426
  • 8
    云原生数据仓库产品使用合集之在ADB中，如何将源数据的多表（数据结构一致）汇总到一张表
    381
  • 9
    云原生数据仓库产品使用合集之ADB如何确保数据库的可用性
    574
  • 10
    云原生数据仓库产品使用合集之阿里云云原生数据仓库AnalyticDB PostgreSQL版的重分布时间主要取决的是什么
    1401

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    DataWorks