开发者社区> 问答> 正文

在阿里云上自己搭建hadoop/hive的官方版本的集群,可不可以使用oss的服务

我在阿里云上搭建了,hadoop/hive官网开源版本的集群,不是使用阿里云提供的E-MapReduce版本,不知道能不能在官方版本的hive中使用阿里云oss作为数据源?如果可以,能否提供一下示例代码。

展开
收起
vivoreal 2017-02-03 16:04:06 6685 0
1 条回答
写回答
取消 提交回答
  • 专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;

    这个是可以的,目前阿里云E-MapReduce团队把访问oss的code部分共享给了社区,
    参见: http://hadoop.apache.org/docs/r3.0.0-alpha2/hadoop-project-dist/hadoop-common/release/3.0.0-alpha2/RELEASENOTES.3.0.0-alpha2.html

    screenshot

    凡是事情都有但是:
    1、阿里云emapreduce产品,会不断优化hadoop+OSS的性能,目前线上运行的emapreduce比社区版本(hadoop3.0)性能高出至少30%左右,后续(尽量)会把一些优化不断贡献给社区。
    2、由于hadoop3.0还没有发布(后续会发布),如果是低版本的,目前还只有emapreduce有的。
    3、emapreduce产品会管理用户的id跟key,目前在VPC网络(经典网络下后续会做)下,不需要输入id与key的。在自建的情况下,需要输入,此有一定的安全风险。

    由于emapreduce目前产品费用为0折,也就是跟自建hadoop成本一致,但是性能高出不少,推荐使用emapreduce。

    例子参考:https://help.aliyun.com/document_detail/28129.html

    2019-07-17 20:45:35
    赞同 2 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hadoop存储与计算分离实践 立即下载
Hadoop的过去现在和未来 立即下载
海量结构化和非结构化大数据Hadoop集群规划 立即下载