主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家
简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。
ppt链接：https://yq.aliyun.com/download/3234
视频链接：https://yq.aliyun.com/live/785
加入Apache Spark中国技术交流钉钉群与大牛交流经验
# Apache Spark系列技术直播# 第七讲 【 大数据列式存储之 Parquet/ORC 】
2018-12-26
1637
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家
简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。
相关实践学习
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps
目录
相关文章
|
5天前
|
存储
机器学习/深度学习
SQL
|
7天前
|
存储
分布式计算
NoSQL
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想，包括Google的三篇重要论文：Google文件系统（GFS）、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础，进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
24
0
0
|
8天前
|
SQL
存储
算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具，但在实际应用中，SQL 经常跑得很慢，浪费大量硬件资源。例如，某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时，而用 SPL 重写后，单机只需 26 秒。类似地，电商漏斗运算和时空碰撞任务在使用 SPL 后，性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法，而 SPL 提供了更强大的数据类型和基础运算，能够实现高效计算。
20
1
1
|
11天前
|
存储
大数据
定位技术
|
11天前
|
存储
大数据
OLAP
|
13天前
|
消息中间件
分布式计算
大数据
数据为王：大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代，大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用，包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术，企业能够从海量数据中提取有价值的信息，预测市场趋势，优化业务流程，从而在竞争中占据优势。
46
2
2
|
16天前
|
存储
分布式计算
Hadoop
数据湖技术：Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代，数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件，通过HDFS存储数据和Spark进行高效计算，实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践，包括数据存储、处理、安全和可视化等方面，展示了它们在实际应用中的协同效应。
59
2
2
|
29天前
|
SQL
Java
API
Apache Flink 2.0-preview released
Apache Flink 社区正积极筹备 Flink 2.0 的发布，这是自 Flink 1.0 发布以来的首个重大更新。Flink 2.0 将引入多项激动人心的功能和改进，包括存算分离状态管理、物化表、批作业自适应执行等，同时也包含了一些不兼容的变更。目前提供的预览版旨在让用户提前尝试新功能并收集反馈，但不建议在生产环境中使用。
581
13
13
|
1月前
|
存储
缓存
算法
分布式锁服务深度解析：以Apache Flink的Checkpointing机制为例
【10月更文挑战第7天】在分布式系统中，多个进程或节点可能需要同时访问和操作共享资源。为了确保数据的一致性和系统的稳定性，我们需要一种机制来协调这些进程或节点的访问，避免并发冲突和竞态条件。分布式锁服务正是为此而生的一种解决方案。它通过在网络环境中实现锁机制，确保同一时间只有一个进程或节点能够访问和操作共享资源。
65
3
3
|
2月前
|
SQL
消息中间件
关系型数据库
Apache Doris Flink Connector 24.0.0 版本正式发布
该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。
111
21
22
热门文章
最新文章
1
分布式快照算法: Chandy-Lamport
2
如何使用Kafka Connect实现同步RDS binlog数据
3
JindoFS解析 - 云上大数据高性能数据湖存储方案
4
5W1H(六何分析法)全景洞察大数据
5
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
6
hive在E-MapReduce集群的实践（二）集群hive参数优化
7
csv导入HBase
8
使用E-MapReduce服务将Kafka数据导入OSS
9
E-MapReduce结合DataV进行数据展现
10
利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
1
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
74
2
【赵渝强老师】部署Hadoop的本地模式
24
3
EMR Serverless Spark：一站式全托管湖仓分析利器
112
4
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
255
5
阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
119
6
从数据积累到大模型的智能飞跃，你准备好了吗？
109
7
DB-GPT v0.6.0 版本更新，发布六大核心新特性！
112
8
云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
269
9
阿里云 EMR Serverless Spark 版正式开启商业化
147
10
小红书 API 接口使用指南：笔记详情数据接口的接入与使用
421