AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

# Apache Spark系列技术直播# 第七讲 【 大数据列式存储之 Parquet/ORC 】

2018-12-26 1612
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家 简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。

主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家

简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。

_2018_12_26_8_21_56

ppt链接：https://yq.aliyun.com/download/3234

视频链接：https://yq.aliyun.com/live/785

加入Apache Spark中国技术交流钉钉群与大牛交流经验


_2018_12_05_4_48_20_meitu_1

文章标签：
云原生大数据计算服务 MaxCompute
存储
Apache
大数据
分布式计算
Spark
关键词：
apache云原生大数据计算服务 MaxCompute
Apache大数据
apache spark大数据
spark云原生大数据计算服务 MaxCompute
云原生大数据计算服务 MaxCompute技术
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
社区小助手
目录
相关文章
1941623231718325
|
7天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris：重塑实时分析性能，解锁大数据处理新速度，引爆数据价值潜能！
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力，正在重塑实时分析的性能极限，解锁大数据处理的新速度，引爆数据价值的无限潜能。在未来的发展中，我们有理由相信Apache Doris将继续引领数据处理的潮流，为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进，共同探索数据新纪元的无限可能！
1941623231718325
47 11
vohelon
|
11天前
|
机器学习/深度学习 分布式计算 大数据
Spark 适合解决多种类型的大数据处理问题
【9月更文挑战第1天】Spark 适合解决多种类型的大数据处理问题
vohelon
24 3
土木林森
|
15天前
|
分布式计算 大数据 Apache
跨越界限：当.NET遇上Apache Spark，大数据世界的新篇章如何谱写？
【8月更文挑战第28天】随着信息时代的发展，大数据已成为推动企业决策、科研与技术创新的关键力量。Apache Spark凭借其卓越的分布式计算能力和多功能数据处理特性，在大数据领域占据重要地位。然而，对于.NET开发者而言，如何在Spark生态中发挥自身优势成为一个新课题。为此，微软与Apache Spark社区共同推出了.NET for Apache Spark，使开发者能用C#、F#等语言编写Spark应用，不仅保留了Spark的强大功能，还融合了.NET的强类型系统、丰富库支持及良好跨平台能力，极大地降低了学习门槛并拓展了.NET的应用范围。
土木林森
33 3
1941623231718325
|
20天前
|
分布式计算 大数据 数据处理
Apache Spark的应用与优势：解锁大数据处理的无限潜能
【8月更文挑战第23天】Apache Spark以其卓越的性能、易用性、通用性、弹性与可扩展性以及丰富的生态系统，在大数据处理领域展现出了强大的竞争力和广泛的应用前景。随着大数据技术的不断发展和普及，Spark必将成为企业实现数字化转型和业务创新的重要工具。未来，我们有理由相信，Spark将继续引领大数据处理技术的发展潮流，为企业创造更大的价值。
1941623231718325
32 3
格格的阿里云
|
18天前
|
存储 分布式计算 供应链
Spark在供应链核算中应用问题之调整Spark读取ODPS离线表分区大小如何解决
Spark在供应链核算中应用问题之调整Spark读取ODPS离线表分区大小如何解决
格格的阿里云
19 1
土木林森
|
11天前
|
Java Spring API
Spring框架与GraphQL的史诗级碰撞：颠覆传统，重塑API开发的未来传奇！
【8月更文挑战第31天】《Spring框架与GraphQL：构建现代API》介绍了如何结合Spring框架与GraphQL构建高效、灵活的API。首先通过引入`spring-boot-starter-data-graphql`等依赖支持GraphQL，然后定义查询和类型，利用`@GraphQLQuery`等注解实现具体功能。Spring的依赖注入和事务管理进一步增强了GraphQL服务的能力。示例展示了从查询到突变的具体实现，证明了Spring与GraphQL结合的强大潜力，适合现代API设计与开发。
土木林森
28 0
不吃核桃
|
17天前
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
不吃核桃
29 1
郑小健
|
15天前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源，结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统，该系统能够接收来自不同来源的数据，对数据进行实时处理，并将结果输出到另一个队列或存储系统中。
郑小健
60 2
不吃核桃
|
17天前
|
消息中间件 分布式计算 Hadoop
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
Apache Flink 实践问题之Flume与Hadoop之间的物理墙问题如何解决
不吃核桃
30 3
不吃核桃
|
17天前
|
消息中间件 运维 Kafka
Apache Flink 实践问题之达到网卡的最大速度如何解决
Apache Flink 实践问题之达到网卡的最大速度如何解决
不吃核桃
33 2
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 4
    阿里封神-大数据处理技术漫谈
  • 5
    【译】用SQL统一所有：一种有效的、语法惯用的流和表管理方法
  • 6
    HBase写性能优化
  • 7
    YARN中的CPU资源隔离-CGroups
  • 8
    使用Ranger对Hive数据进行脱敏
  • 9
    Apache Flink : Checkpoint 原理剖析与应用实践
  • 10
    使用EMR-Kafka Connect进行数据迁移
  • 1
    阿里云 EMR StarRocks 在七猫的应用和实践
    100
  • 2
    EMR Serverless StarRocks体验测评
    31
  • 3
    EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
    140
  • 4
    不是吧？这么好用的开源标注工具，竟然还有人不知道…
    56
  • 5
    迟来的EMR Serverless Spark评测报告
    204
  • 6
    DataWorks操作报错合集之在处理元数据存储时发生报错：ODPS-0010000，该如何处理
    86
  • 7
    EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
    365
  • 8
    【报名中】阿里云 x StarRocks：极速湖仓第二季—上海站
    301
  • 9
    阿里云 EMR Serverless StarRocks OLAP 数据分析场景解析
    19136
  • 10
    E-MapReduce Serverless Spark体验评测
    267

    • 相关课程

    更多
  • 如何将 PolarDB-X 与大数据等系统互通
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • 基于Flink的实时大数据应用Demo
  • 大数据Impala教程
  • Apache Flink 入门到实战 - Flink开源社区出品
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 相关实验场景

    更多
  • 通过FastMR自动拉起大数据集群并运行TPCDS任务
  • 基于MaxCompute的热门话题分析
  • 实时数据及离线数据上云方案
  • 使用内置公开数据集快速体验MaxCompute

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    对象存储 OSS 如何创建 bucket|学习笔记