本期导读 :【OSS 访问加速】第九讲
主题:Presto 如何高效查询 OSS 数据
讲师:健身,阿里巴巴计算平台事业部 EMR 技术专家
内容框架:
- Presto 介绍
- JindoSDK 安装
- 使用介绍
- 相关资料
直播回放链接:(9/10讲)
https://developer.aliyun.com/live/246875
一、Presto 介绍
Presto 介绍:SQL-on-Anything
- 为性能和规模而生
- 存储计算分离,没有存储
- 最初针对 HDFS 进行设计
- 原地查询,无需迁移数据
二、JindoSDK 安装
1、下载最新的 jar 包 jindofs-sdk-x.x.x.jar,然后在所有 Presto 节点安装 JindoFS SDK
- 下载链接:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md - cpjindofs-sdk-${version}.jar$PRESTO_HOME/plugin/hive-hadoop2/
2、配置 JindoFS OSS 实现类
3、配置 OSS Access Key
- 请参考:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_credential_provider.md
4、 重启 Presto 所有服务,使配置生效
5、现在 hive catalog 即可访问 OSS
三、使用介绍
演示逻辑:
- 安装 JindoSDK
- 配置 Presto
- 读取鸢尾花数据集并写入 OSS
- 从 OSS 查询鸢尾花数据集
⭐点击回放链接,直接观看第9/10讲视频回放,获取讲师实例讲解:
https://developer.aliyun.com/live/246875
四、相关资料
- 下载JindoFS SDK:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindofs_sdk_download.md - Presto 使用 JindoSDK:
https://github.com/aliyun/alibabacloud-jindofs/blob/master/docs/jindosdk_on_presto.md
⭐Github链接:
https://github.com/aliyun/alibabacloud-jindofs
不错过每次直播信息、探讨更多数据湖 JindoFS+OSS 相关技术问题,欢迎扫码加入钉钉交流群!