AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】在数据仓库中引入Dataframes+Parquet

2017-02-12 1625
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Sol Ackerman与Franklyn D'souza在Spark Summit EU上的演讲，在已存在的数据仓库中使用Dataframes+Parquet的经验方法，实现了在保证原有代码的情况下，引进Dataframes+Parquet，并且重写比较慢的工作作为Dataframes的管道，用Spark对从输入端流入的数据进行处理并输出。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Sol Ackerman与Franklyn D'souza在Spark Summit EU上的演讲，在已存在的数据仓库中使用Dataframes+Parquet的经验方法，实现了在保证原有代码的情况下，引进Dataframes+Parquet，并且重写比较慢的工作作为Dataframes的管道，用Spark对从输入端流入的数据进行处理并输出。


ca7cd6861b02f8d1a4fb9bac559c996eca604d29
cec66b1e7363d15cfd6efe3978a279f8ed8ba822

18a67c1b98012e1501840f20048dbf84798b3a72

42d61af480f06b155913ed61436cdf6e9b6895e1

a60f51d5d96fb86d757b0ad4415d3c18fc21da81

05207b7dfb9b4e2daa2cc7e1d1cf37d285b56080

350cf31acab6d829826bab10c81daeda6c91d358

61dfa5fcd97fb36dda8a6bd1d7daf15fec82c6a0

f705081aea22a38d3bf4c5bcfbe8cb9ab9cb40ff

62bbf8987f1fc5aa3066e5db167f6010de06e13f

2a80221df8271ee892423cd3c671888973d7056b

0ac0cced25e92c83643c29fb0f7c353b4138bce3

cabb5345d4de3460dbb9a9eca631c44e5241c175

b7cb5cc230390b2e1fcd8a4812ec4186fedb6c69

6d1f7f3d2d2d4edaa76dad42a1fd203e10b64844

bdbb6f3e8b403f8c08f0d49eafd19999b9d5e9c9

96c0c5a09d4fbd1a65f00a0cff000cfedd6e3348

8b6c93489f1046a5560c7a70c1ea487aac22bab6

1ad8d0a92c1213c488e9d0b846795683480c070f

815e300ba38a5063c50feae060e4b0cba916a918

bf3cde5aa95b6e89ae6f5cd33695537c0f29e96f

da0fc5cce1f9bcf5e42193d46accd3145d767242

a247792e1da24f8dd3b548059a43e93a9d0d73ce

6e82d5c352700b7fc07713ac1a14ea76f0351377

4d5ba274759c04166c759db9321b342b3598c27d

20610162011b0346f8a35c313fc0d7ae95b2d227

3c4d716ec7efb351e0f9524bb10ba2b6405158fd

49c9450f4445cb6a1ef588126bcc29f63207b08e

e7133a121cef186e478c099c99d2e2fdf20de7b7

b9be11327cd339ed1ee6eec065aaf70024ffdc05

文章标签：
分布式计算
Spark
大数据
MaxCompute
关键词：
数据仓库spark
apache spark数据仓库
apache spark DataFrames
apache spark parquet
apache spark summit
小猫吃鱼569
目录
相关文章
阿甘兄
|
SQL 分布式计算 数据挖掘
197 Spark DataFrames概述
197 Spark DataFrames概述
阿甘兄
83 0
热烈的马
|
6月前
|
SQL 存储 分布式计算
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
【大数据技术Hadoop+Spark】Hive数据仓库架构、优缺点、数据模型介绍（图文解释 超详细）
热烈的马
1070 0
BIT_666
|
存储 SQL JSON
Spark - 一文搞懂 parquet
parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面主要讲parquet 文件在 spark 场景下的存储，读取与使用中可能遇到的坑。......
BIT_666
2171 0
Spark - 一文搞懂 parquet
阿甘兄
|
SQL 分布式计算 Shell
198 Spark DataFrames创建
198 Spark DataFrames创建
阿甘兄
65 0
about云
|
SQL 分布式计算 HIVE
spark sql编程之实现合并Parquet格式的DataFrame的schema
spark sql编程之实现合并Parquet格式的DataFrame的schema
about云
346 0
spark sql编程之实现合并Parquet格式的DataFrame的schema
857技术社区
|
存储 SQL 分布式计算
【Parquet】Spark读取Parquet问题详解……
【Parquet】Spark读取Parquet问题详解……
857技术社区
846 0
【Parquet】Spark读取Parquet问题详解……
6hkip34i2a7n6
|
存储 分布式计算 大数据
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
6hkip34i2a7n6
536 0
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
游客wkxim4agoo6le
|
SQL 分布式计算 Spark
Spark SQL中基于parquet数据的加载方式、数据源的自动分区推断以及数据源的元数据合并
笔记
游客wkxim4agoo6le
185 0
阿里云E-MapReduce团队
|
存储 SQL 分布式计算
数据湖实操讲解【 JindoTable 计算加速】第十九讲：Spark 对 OSS 上的 Parquet 数据进行查询加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
527 0
数据湖实操讲解【 JindoTable 计算加速】第十九讲：Spark 对 OSS 上的 Parquet 数据进行查询加速
dasein58
|
SQL 存储 JSON
Apache Spark，Parquet和麻烦的Null
　　关于类型安全性的经验教训，并承担过多 　　介绍 　　在将SQL分析ETL管道迁移到客户端的新Apache Spark批处理ETL基础结构时，我注意到了一些奇特的东西。 开发的基础结构具有可为空的DataFrame列架构的概念。 乍看起来似乎并不奇怪。 大多数（如果不是全部）SQL数据库都允许列为可空或不可空，对吗？ 让我们研究一下在创建Spark DataFrame时，这种看似明智的概念为什么会带来问题。 　　from pyspark.sql import types 　　schema=types.StructType([
dasein58
870 0

热门文章

最新文章

  • 1
    业内首次融合数据仓库与数据湖 阿里云推出下一代大数据平台 “湖仓一体”
  • 2
    2020阿里巴巴大数据技术公开课第五季 — SaaS模式云数据仓库MaxCompute开发实战与常见问题
  • 3
    数据仓库优化中什么是星型转换(Star Transformation)?
  • 4
    云原生数据仓库产品使用合集之ADB MySQL湖仓版和 StarRocks 的使用场景区别，或者 ADB 对比 StarRocks 的优劣势
  • 5
    数据中台-数据仓库、数据湖、数据中台的区别
  • 6
    阿里云“万仓计划”重磅发布，助力每个企业构建属于自己的云原生数据仓库
  • 7
    数据仓库专题22-网络用户行为数据采集标准规范设计
  • 8
    云原生数据仓库产品使用合集之在云数据仓库ADB中，GROUP BY操作中出现NULL值,如何解决
  • 9
    数据仓库专题（13）-星型模型中事实表作为维表使用面临的问题和解决方法
  • 10
    谈谈如何构建现代数据体系架构（数据湖+数据仓库）
  • 1
    EMR Serverless Spark服务最佳实践测评
    138
  • 2
    E-MapReduce Serverless Spark体验评测
    302
  • 3
    EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
    105
  • 4
    Spark快速大数据分析PDF下载读书分享推荐
    172
  • 5
    全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
    23711
  • 6
    Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
    149
  • 7
    大数据平台之Spark
    115
  • 8
    数据处理的艺术：EMR Serverless Spark实践及应用体验
    14777
  • 9
    DataWorks产品使用合集之ODPS Spark找不到自己的stdout，该如何解决
    52
  • 10
    DataWorks产品使用合集之spark任务如何跨空间取表数据
    41

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云OSS设置跨域访问