开发者社区> 问答> 正文

请教eclipse里面开发Hadoop程序的input怎么设置

怎样input从本地文件系统找而不是hdfs://里面找输入文件呢

展开
收起
爵霸 2016-06-08 15:22:59 1979 0
2 条回答
写回答
取消 提交回答
  • 利用distributedCache,可以将本地文件与jar包一同上传,程序中访问就与本地文件相同了。
    具体使用方式查阅网上API吧。

    2019-07-17 19:32:04
    赞同 展开评论 打赏
  • hadoop的input在中会在mapreduce的map中读取,map是会分配到slave的机器去执行。 即便是你写了input到了slave上也是没有这个路径的。

    一般都是基于hdfs的路径去读取。

    本地文件用 hadoop fs -copyFromLocal /localPath /hdfsPath 的命令把本地文件复制到hdfs上就好了

    2019-07-17 19:32:04
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
《构建Hadoop生态批流一体的实时数仓》 立即下载
零基础实现hadoop 迁移 MaxCompute 之 数据 立即下载
CIO 指南:如何在SAP软件架构中使用Hadoop 立即下载

相关镜像