在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务-问答-阿里云开发者社区-阿里云

开发者社区> vivoreal> 正文

在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务

2017-02-03 16:04:06 5162 1

我在阿里云上搭建了,hadoop/hive官网开源版本的集群,不是使用阿里云提供的E-MapReduce版本,不知道能不能在官方版本的hive中使用阿里云oss作为数据源?如果可以,能否提供一下示例代码。

取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 20:45:35

    这个是可以的,目前阿里云E-MapReduce团队把访问oss的code部分共享给了社区,
    参见: http://hadoop.apache.org/docs/r3.0.0-alpha2/hadoop-project-dist/hadoop-common/release/3.0.0-alpha2/RELEASENOTES.3.0.0-alpha2.html

    screenshot

    凡是事情都有但是:
    1、阿里云emapreduce产品,会不断优化hadoop+OSS的性能,目前线上运行的emapreduce比社区版本(hadoop3.0)性能高出至少30%左右,后续(尽量)会把一些优化不断贡献给社区。
    2、由于hadoop3.0还没有发布(后续会发布),如果是低版本的,目前还只有emapreduce有的。
    3、emapreduce产品会管理用户的id跟key,目前在VPC网络(经典网络下后续会做)下,不需要输入id与key的。在自建的情况下,需要输入,此有一定的安全风险。

    由于emapreduce目前产品费用为0折,也就是跟自建hadoop成本一致,但是性能高出不少,推荐使用emapreduce。

    例子参考:https://help.aliyun.com/document_detail/28129.html

    2 0
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123777浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120295浏览量 回答数 10

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 141688浏览量 回答数 38

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292361浏览量 回答数 110

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118506浏览量 回答数 5

2

回答

mySQL数据库报错You have an error in your SQL syntax

落地花开啦 2016-02-14 16:09:24 126875浏览量 回答数 2

8

回答

flink sql 支持checkpoints吗?

游客izljdlkgbdwfc 2019-07-10 17:46:37 121206浏览量 回答数 8

82

回答

OSS入门教程

belle.zhoux 2014-07-07 17:14:27 149587浏览量 回答数 82

24

回答

【精品问答】python技术1000问(1)

问问小秘 2019-11-15 13:25:00 471617浏览量 回答数 24

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 204037浏览量 回答数 2
+关注
0
文章
2
问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载