Spar k对 OSS 上的 Parquet 数据进行查询加速 | 学习笔记

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 快速学习Spar k对 OSS 上的 Parquet 数据进行查询加速。

开发者学堂课程【数据湖 JindoFS + OSS 实操干货36讲Spark 对 OSS 上的 Parquet 数据进行查询加速】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/833/detail/13979


Spark 对 OSS 上的Parquet 数据进行查询加速

 

内容介绍

一、JindoFS 计算加速介绍

二、Spark 使用 JindoFS 计算加速

三、演示

 

一、JindoFS 计算加速介绍

1)背景介绍

当前数据湖市场规模正在飞速增长,随着数据规模的增长,基于高性能的数据湖分析场景也在逐渐增加。

当前很多数据湖架构基于对象存储,相对于本地存储,其性能受到网络带宽和负载机器的影响,存在性能瓶颈和波动,同时因为远端读取 OSS 单次 IO 比较慢在列存等一些随机读比较多的场景,性能差距尤其明显(无法预读)。在此背景下,稳定且高性能的数据读取方案已经迫在眉睫。

2JindoFS 计算加速

JindoFS 通过 Native Engine,能够加速存储在 JindoFS/OSS 上面的 ORC/Parquet文件,配合 filter pushdown, Spark/Hive/Presto 上明显的提升查询速度。

3TPCDS 5T测试

TPCDS 5T 规模的 ISpark 测试,使用 JindoFS 计算加速方案,平均 query 查询性能整体上较S park + parquet 的方案提升22.9%(GeoMean).总时间缩短从8158秒缩短到7309秒,下降12%。详细报告参考文章结尾链接。

➢与 q96查询对比

下推 filter 之后读取相同数据量时间缩短一倍。

 

二、Spark 使用 JindoFS 计算加速

1)前提

已创建EMR-3.35.0及后续版本或 EMR-4.9.0及后续版本,且Parquet文件已存放至JindoFSOSS

2Spark 使用 JindoFS 计算加速

添加配置

spark.sql.extensions=com.aliyun.em .sql.JindoTableExtension

 

三、演示

1. Spark 2.4 使用 JindoFS 计算加速

2. Spark 2.4 任务界面查看计算加速相关信息

3.相关资源

1)计算加速使用文档:

https://help.aliyun.com/document detail/213329.html?spm=a2c4g.11186623.6.1123.5d04196bvr9MzP

(2)tpcds 5t 查询性能报告

https://qithub.com/aliyun/ alibabacloud-jindodata/blob/master/docs/comparisons/jindotable_native _vs _spark parquet.md

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
4月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
70 3
|
6月前
|
存储 分布式计算 Java
|
6月前
|
分布式计算 监控 大数据
如何处理 Spark 中的倾斜数据?
【8月更文挑战第13天】
285 4
|
6月前
|
存储 缓存 分布式计算
|
6月前
|
SQL 存储 分布式计算
|
6月前
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
80 1
|
6月前
|
存储 安全 大数据
对象存储的意义:探索数据新纪元的关键基石
在信息爆炸时代,数据成为核心资产,而高效安全的数据存储至关重要。对象存储作为一种新兴技术,起源于20世纪90年代,旨在解决传统文件系统的局限性。随着云计算和大数据技术的发展,它已成为关键技术之一。对象存储具备高可扩展性、高可靠性、低成本、易于管理和多协议支持等优点。它支撑大数据发展、推动云计算繁荣、助力企业数字化转型并保障数据安全。未来,对象存储将进一步提升性能,实现智能化管理,并与边缘计算融合,获得政策支持,成为数据新时代的关键基石。
251 3
|
7月前
|
机器学习/深度学习 人工智能 专有云
人工智能平台PAI使用问题之怎么将DLC的数据写入到另一个阿里云主账号的OSS中
阿里云人工智能平台PAI是一个功能强大、易于使用的AI开发平台,旨在降低AI开发门槛,加速创新,助力企业和开发者高效构建、部署和管理人工智能应用。其中包含了一系列相互协同的产品与服务,共同构成一个完整的人工智能开发与应用生态系统。以下是对PAI产品使用合集的概述,涵盖数据处理、模型开发、训练加速、模型部署及管理等多个环节。
|
3月前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
6月前
|
存储 机器学习/深度学习 弹性计算
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决
阿里云EMR数据湖文件系统问题之OSS-HDFS全托管服务的问题如何解决