hadoop可以同时oss和hdfs吗-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

hadoop可以同时oss和hdfs吗

逸新 2019-04-19 15:43:52 607

在一个hadoop集群中,是否可以同时支持oss和hdfs两个文件系统
并且使用M/R可以同时读取两个文件系统的数据?

分布式计算 Hadoop 对象存储
分享到
取消 提交回答
全部回答(3)
  • 沐远
    2020-03-21 15:13:51

    可以同时支持,在core-site.xml中配置了不同fs的实现之后,在程序中使用的时候路径的schema使用不同的前缀就可以了,比如oss://pathxx、hdfs://pathxx fs.oss.impl org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem

    0 0
  • 好好学习天天向上
    2020-03-03 20:59:31

    可以的。不过有一些前提条件,hadoop集群的节点要能网络连通oss也就是MR运行起来的task要能读取到oss的数据;MR任务中map/reduce函数中要自己写读取oss数据的代码,hadoop本身没有自带读取oss;MR运行的task不同task读取oss的不同数据,如果读取的是相同的数据,可以使用hadoop自带的distributedcache功能来实现。

    0 0
  • 问问小秘
    2019-10-09 15:09:09
    你好 HDFS是一种文件格式,像FAT32,NTFS之类的,是底层的;HBase是数据库,可以建在HDFS上,也可以不在这上面,不过按照设计,是推荐运行在HDFS上的~~
    

    答案来源网络,供参考,希望对您有帮助

    0 0
添加回答
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题