开发者社区 问答 正文

读取HDFS上的文件问题

在伪分布模式下测试代码,在eclipse里建了个项目,然后在map函数里我想从hdfs中读取文件数据(testData.csv),然后这几段代码就会出现问题,String str_url="hdfs://localhost:9000";URI.creat(str_url);String str="hdfs://localhost:9000/user/input/testData.csv";Path path=new Path(str);
我发现如果是str="/user/input/testData.csv";Path=new Path(str);就不会出现问题,但是这个路径是不存在的。
因为有两个文件需要读取,不知道怎么处理啊

展开
收起
蛮大人123 2016-02-21 17:01:49 2514 分享 版权
1 条回答
写回答
取消 提交回答
  • 我说我不帅他们就打我,还说我虚伪

    import org.apache.hadoop.fs.FileSystem;这个包 有两种方式 调用

    FileSystem.get(arg0, arg1);

    FileSystem.get(conf);
    String uri = "hdfs://bigdata/tmp/1.txt";
    Configuration conf = new Configuration();
    FileSystem fs = FileSystem.get(URI.create(uri), conf);  
    或者

    FileSystem fs = FileSystem.get(conf);

    2019-07-17 18:46:09
    赞同 展开评论