主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家
简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。
ppt链接：https://yq.aliyun.com/download/3234
视频链接：https://yq.aliyun.com/live/785
加入Apache Spark中国技术交流钉钉群与大牛交流经验
# Apache Spark系列技术直播# 第七讲 【 大数据列式存储之 Parquet/ORC 】
2018-12-26
1643
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家
简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。
相关实践学习
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps
目录
相关文章
|
4月前
|
存储
算法
数据挖掘
【2023年中国高校大数据挑战赛 】赛题 B DNA 存储中的序列聚类与比对 Python实现
本文介绍了2023年中国高校大数据挑战赛赛题B的Python实现方法，该赛题涉及DNA存储技术中的序列聚类与比对问题，包括错误率分析、序列聚类、拷贝数分布图的绘制以及比对模型的开发。
107
2
3
|
3月前
|
存储
大数据
测试技术
用于大数据分析的数据存储格式：Parquet、Avro 和 ORC 的性能和成本影响
在大数据环境中，数据存储格式直接影响查询性能和成本。本文探讨了 Parquet、Avro 和 ORC 三种格式在 Google Cloud Platform (GCP) 上的表现。Parquet 和 ORC 作为列式存储格式，在压缩和读取效率方面表现优异，尤其适合分析工作负载；Avro 则适用于需要快速写入和架构演化的场景。通过对不同查询类型（如 SELECT、过滤、聚合和联接）的基准测试，本文提供了在各种使用案例中选择最优存储格式的建议。研究结果显示，Parquet 和 ORC 在读取密集型任务中更高效，而 Avro 更适合写入密集型任务。正确选择存储格式有助于显著降低成本并提升查询性能。
583
1
2
|
1月前
|
存储
算法
固态存储
|
2月前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
66
1
1
|
2月前
|
存储
消息中间件
大数据
|
2月前
|
消息中间件
存储
缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
79
3
3
|
2月前
|
存储
消息中间件
大数据
|
2月前
|
存储
消息中间件
大数据
|
2月前
|
存储
算法
NoSQL
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
大数据-138 - ClickHouse 集群 表引擎详解3 - MergeTree 存储结构 数据标记 分区 索引 标记 压缩协同
46
0
0
|
2月前
|
存储
消息中间件
分布式计算
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
大数据-137 - ClickHouse 集群 表引擎详解2 - MergeTree 存储结构 一级索引 跳数索引
49
0
0
热门文章
最新文章
1
现代流式计算的基石：Google DataFlow
2
HIVE MapJoin异常问题处理总结
3
阿里封神-大数据处理技术漫谈
4
JindoFS概述：云原生的大数据计算存储分离方案
5
5W1H(六何分析法)全景洞察大数据
6
Flume NG 简介及配置实战
7
HAS-插件式Kerberos认证框架
8
HBase写性能优化
9
hive在E-MapReduce集群的实践（二）集群hive参数优化
10
11月14日Spark社区直播【 Spark on Kubernetes & YARN】
1
EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
13
2
年轻人如果运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能
19
3
拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
27
4
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
80
5
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
436
6
【赵渝强老师】部署Hadoop的本地模式
52
7
EMR Serverless Spark：一站式全托管湖仓分析利器
188
8
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
417
9
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
146
10
从数据积累到大模型的智能飞跃，你准备好了吗？
144