在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务

2017-02-03 16:04:06 5825 1

我在阿里云上搭建了,hadoop/hive官网开源版本的集群,不是使用阿里云提供的E-MapReduce版本,不知道能不能在官方版本的hive中使用阿里云oss作为数据源?如果可以,能否提供一下示例代码。

取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 20:45:35

    这个是可以的,目前阿里云E-MapReduce团队把访问oss的code部分共享给了社区,
    参见: http://hadoop.apache.org/docs/r3.0.0-alpha2/hadoop-project-dist/hadoop-common/release/3.0.0-alpha2/RELEASENOTES.3.0.0-alpha2.html

    screenshot

    凡是事情都有但是:
    1、阿里云emapreduce产品,会不断优化hadoop+OSS的性能,目前线上运行的emapreduce比社区版本(hadoop3.0)性能高出至少30%左右,后续(尽量)会把一些优化不断贡献给社区。
    2、由于hadoop3.0还没有发布(后续会发布),如果是低版本的,目前还只有emapreduce有的。
    3、emapreduce产品会管理用户的id跟key,目前在VPC网络(经典网络下后续会做)下,不需要输入id与key的。在自建的情况下,需要输入,此有一定的安全风险。

    由于emapreduce目前产品费用为0折,也就是跟自建hadoop成本一致,但是性能高出不少,推荐使用emapreduce。

    例子参考:https://help.aliyun.com/document_detail/28129.html

    2 0
相关问答

1

回答

Java操作Hadoop的官方资料在哪里? Java问题

2020-05-31 17:32:15 414浏览量 回答数 1

1

回答

阿里云OSS的C SDK的使用

2020-02-25 11:50:37 1087浏览量 回答数 1

1

回答

新手求帮忙:saltstack怎么来实现项目的日志自动上传到阿里云的oss里面

2017-07-25 19:21:12 2857浏览量 回答数 1

1

回答

新人求助阿里云安装了dz x3.3 静态URL怎么设置

2017-03-26 16:25:46 2471浏览量 回答数 1

8

回答

文件存贮在阿里云的OSS,PHP怎么实现多文件打包下载?

2017-03-10 11:14:31 12154浏览量 回答数 8

1

回答

官方开源版本的hive能否使用oss作为数据源

2017-01-26 11:04:20 3521浏览量 回答数 1

3

回答

我的网站是PHPCMS V9最新版制作的,替换成阿里云短信服务

2017-01-17 14:16:47 4679浏览量 回答数 3

3

回答

dedecms和帝国cms的OSS插件开发不出吗?

2016-03-26 00:40:55 4557浏览量 回答数 3

1

回答

哪里又DZ论坛3.2版本阿里云OSS或者七牛云的插件

2015-03-10 08:36:58 5427浏览量 回答数 1

7

回答

phpwind、dz、wp有好多牛人无私开发oss插件,dede怎么没牛人无私开发呢?

2013-04-03 16:07:56 9799浏览量 回答数 7
+关注
0
文章
2
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载