数据湖实操讲解【 JindoTable 计算加速】第二十讲:Spark 对 OSS 上的 ORC 数据进行查询加速

简介: 数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs

本期导读 :【JindoTable 计算加速】第二十讲


主题:Spark 对 OSS 上的 ORC 数据进行查询加速uid+JindoFS 对 OSS 上数据进行训练加速

讲师:健身,阿里巴巴计算平台事业部 EMR 技术专家


内容框架:

  • ORC 简介
  • JindoFS 列存加速
  • 性能对比
  • 演示


直播回放链接:(20讲)

https://developer.aliyun.com/live/247100

一、ORC 简介

ORC:Hadoop 生态的列存系统      

  • 来自 Hive 的列式存储
  • 支持列裁剪
  • 包含类型信息,自描述
  • 支持 Encoding/压缩

image.png

Spark 与 ORC

  • Spark Hive 表

   • CREATE TABLE tablename … STORED AS ORC;

   • 使用 Hive ORC

   •  spark.sql.hive.convertMetastoreOrc

  • Spark Datasource 表

   • CREATE TABLE tablename … USING ORC;

   • 使用Apache ORC


二、JindoFS 列存加速

痛点

  • 对象存储水平扩展能力强,但请求延时高
  • 本地盘/云盘带宽有限,中间数据越少越好
  • IO 需要与 shuffle 数据竞争网络资源
  • 计算越快越好


JindoFS 列存加速

  • JindoTable Native Engine

   • 高速读取

   • 查询计划下推(高速计算)

   • 表/分区/列级别的数据缓存,消除带宽瓶颈和性能波动

  • 支持 JindoFS/OSS
  • 支持 ORC / Parquet 格式
  • 高效的预计算(规划)
  • 可插拔,兼容开源

用法

  • 命令行参数

   •  --conf spark.sql.extensions=com.aliyun.emr.sql.JindoTableExtension

  • 配置到 spark-defaults

   •  spark.sql.extensions       com.aliyun.emr.sql.JindoTableExtension

  • Spark Hive 表需要确保 spark.sql.hive.convertMetastoreOrc = true
  • EMR-3.35/4.9/5.2 之后的版本

加速原理

  • Native Engine 直接把数据排在内存中供上层引擎使用
  • Spark 通过 Unsafe 直接访问数据,无需拷贝数据
  • Native Engine 异步读取文件

   • 数据读取不等待上层引擎消费,性能更高

  • 高并发

   • 文件级别并发

   • 列级别并发

  • Native 实现算子
  • 相比 Java 性能更优

加速架构

  • 一套 Native Engine 支持不同引擎
  • AliORC 提供 ORC 支持
  • Native Engine 运行在 executor/Presto Worker 中(客户端)

image.png

三、性能对比

Spark 性能对比 – 配置

image.png

Spark 性能对比 – 结果

  • 端到端总时间缩短23.6%

image.png

四、演示


  • 配置 Spark
  • 读取鸢尾花数据集以 ORC 格式写入 OSS 路径
  • 从 OSS 查询鸢尾花数据集


相关文档链接:

  • Jindodata 相关文档:

https://github.com/aliyun/alibabacloud-jindodata

  • 计算加速使用文档:

https://help.aliyun.com/document_detail/213329.html




⭐点击回放链接,直接观看第20讲视频回放,获取讲师实例讲解:

   https://developer.aliyun.com/live/247100




⭐Github链接:

https://github.com/aliyun/alibabacloud-jindofs


不错过每次直播信息、探讨更多数据湖 JindoFS+OSS 相关技术问题,欢迎扫码加入钉钉交流群!

69c0a02cc68742fca5d49d92413dc67a.png

相关文章
|
SQL 存储 运维
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
别让运维数据“各过各的”:聊聊数据湖怎么搭,才能不成“沼泽”
530 0
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
397 5
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
338 3
|
存储 机器学习/深度学习 数据采集
一文讲透数据仓库、数据湖、数据海的区别
企业常因数据架构不清导致报表延迟、数据矛盾、利用困难。核心解法是构建数据仓库(高效分析)、数据湖(灵活存储原始数据)和数据海(全局集成)。三者各有适用场景,需根据业务需求选择,常共存互补,助力数据驱动决策。
一文讲透数据仓库、数据湖、数据海的区别
|
存储 人工智能 分布式计算
数据不用搬,AI直接炼!阿里云AnalyticDB AI数据湖仓一站式融合AI+BI
阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版(以下简称ADB)诞生于高性能实时数仓时代,实现了PB级结构化数据的高效处理和分析。在前几年,为拥抱大数据的浪潮,ADB从传统数仓拓展到数据湖仓,支持Paimon/Iceberg/Delta Lake/Hudi湖格式,为开放的数据湖提供数据库级别的性能、可靠性和管理能力,从而更好地服务以SQL为核心的大规模数据处理和BI分析,奠定了坚实的湖仓一体基础。
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
603 0
|
存储 安全 API
阿里云EMR数据湖文件系统问题之JindoFS元数据查询和修改请求的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS元数据查询和修改请求的问题如何解决
233 1
|
分布式计算 Apache 数据安全/隐私保护
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
流计算引擎数据问题之在 Spark Structured Streaming 中水印计算和使用如何解决
432 1
|
存储 缓存 数据管理
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决
阿里云EMR数据湖文件系统问题之JindoFS数据孤岛的问题如何解决
334 0