用引导操作打通presto访问oss数据

简介: 目前EMR Presto 已经完全支持 OSS 访问,如有其他 Presto 集群访问 OSS 需求,请安装 JindoFS SDK,可以直接访问 oss https://developer.aliyun.com/article/767222
+关注继续查看

目前EMR Presto 已经完全支持 OSS 访问,如有其他 Presto 集群访问 OSS 需求,请安装 JindoFS SDK,可以直接访问 oss (oss://bucket/) :

https://github.com/aliyun/aliyun-emapreduce-sdk/blob/master-2.x/docs/jindofs_sdk_how_to.md

重磅:阿里云 JindoFS SDK 全面开放使用,OSS 文件各项操作性能得到大幅提升
https://developer.aliyun.com/article/767222


目前产品组件presto还不能直接访问oss数据,如果有需求,可以参考本文用引导操作打通presto访问oss数据。

~~# 准备脚本
下载 脚本,放在您的oss合适的目录里。~~

创建集群

参照 帮助文档 ,创建集群时点击添加引导操作,分别选择刚才上传的ossforpresto.sh脚本,创建以个引导操作步骤。集群创建好后,通过集群详情页的引导/软件配置:无异常来确定引导操作执行成功

验证

hive建表

下文举了一二创建数据在oss上的uservisits表的例子,请将表名,字段,oss信息替换为您oss数据对应的信息

CREATE EXTERNAL TABLE uservisits (sourceIP STRING,destURL STRING,visitDate STRING,adRevenue DOUBLE,userAgent STRING,countryCode STRING,languageCode STRING,searchWord STRING,duration INT ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS SEQUENCEFILE LOCATION 'oss://<accessid>:<accesskey>@<bucketname>.oss-cn-hangzhou-internal.aliyuncs.com/<datapath>';

presto查询

退出hive cli,进入presto cli
./presto --server localhost:9090 --catalog hive --schema default
执行show tables能看见刚刚创建的表,执行select counT() from uservisits能查到oss数据的条目。如果未显示,可能是还未同步,稍等一会

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
目录
相关文章
|
2月前
|
存储 Java 对象存储
【2】从零玩转OSS阿里云存储服务之Java代码操作
【2】从零玩转OSS阿里云存储服务之Java代码操作
|
2月前
|
存储 域名解析 Java
【1】从零玩转OSS阿里云存储服务之阿里云平台等操作
【1】从零玩转OSS阿里云存储服务之阿里云平台等操作
|
8月前
|
存储 安全 前端开发
OSS对象存储,网页版上传文件操作,傻瓜看图有手就行!
OSS对象存储,网页版上传文件操作,傻瓜看图有手就行!
330 0
OSS对象存储,网页版上传文件操作,傻瓜看图有手就行!
|
JavaScript 开发工具 对象存储
Node.js操作七牛云OSS进行多文件压缩为zip的方法
Node.js操作七牛云OSS进行多文件压缩为zip的方法
|
SQL 存储 分布式计算
Presto 如何高效查询 OSS 数据 | 学习笔记
快速学习 Presto 如何高效查询 OSS 数据。
296 0
Presto 如何高效查询 OSS 数据 | 学习笔记
|
SQL 缓存 分布式计算
Presto 访问 OSS 透明缓存加速 | 学习笔记
快速学习 Presto 访问 OSS 透明缓存加速。
251 0
Presto 访问 OSS 透明缓存加速 | 学习笔记
|
Java 应用服务中间件 API
一小时学会使用springboot操作阿里云OSS实现文件上传,下载,删除(附源码)
一小时学会使用springboot操作阿里云OSS实现文件上传,下载,删除(附源码)
一小时学会使用springboot操作阿里云OSS实现文件上传,下载,删除(附源码)
|
SQL 存储 缓存
数据湖实操讲解【JindoFS 缓存加速】第十三讲:Presto 访问 OSS 透明缓存加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
数据湖实操讲解【JindoFS 缓存加速】第十三讲:Presto 访问 OSS 透明缓存加速
|
SQL 存储 Java
数据湖实操讲解【OSS 访问加速】第九讲:Presto 如何高效查询 OSS 数据
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播! 扫文章底部二维码入钉群,线上准时观看~ Github链接: https://github.com/aliyun/alibabacloud-jindofs
数据湖实操讲解【OSS 访问加速】第九讲:Presto 如何高效查询 OSS 数据
|
存储 弹性计算 分布式计算
如何将操作日志持续投递到 SLS/OSS
操作审计(ActionTrail)帮助您监控并记录阿里云账号的活动,包括通过阿里云控制台、OpenAPI、开发者工具对云上产品和服务的访问和使用行为,记录为操作日志。
如何将操作日志持续投递到 SLS/OSS
相关产品
开源大数据平台 E-MapReduce
推荐文章
更多