4、本地文件测试
本地测试文件【D:\\info.txt】：
Accept that this is your starting point.Instead of placing judgements on it,see the real,positive value that’s already yours.You cannot change where your past priorities and choices have brought you.Yet you can make use of the wisdom you’ve earned to create a future that fulfils your most treasured dreams.
相信此刻就是你的起点。无需再判断，看到你所具备的真正意义上的价值。你过去认为重要的事和以前做过的选择给你带来了什么都是无法改变的。然而你可以充分利用你的智慧去创造未来，实现你最珍爱的梦想。
测试成功:
5、修改【Action】文件(修改测试文件路径)
package com.item.test; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.lib.input.FileInputFormat; import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat; import java.io.IOException; public class Action { public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException { Configuration conf = new Configuration(); Job job = Job.getInstance(conf); job.setJarByClass(Action.class); job.setMapperClass(MapAction.class); job.setReducerClass(ReduceAction.class); job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(LongWritable.class); job.setOutputKeyClass(Text.class); job.setOutputValueClass(LongWritable.class); //本地测试 FileInputFormat.setInputPaths(job,new Path("/info/info.txt")); FileOutputFormat.setOutputPath(job,new Path("/infos")); boolean b = job.waitForCompletion(true); System.exit(b?0:1); } }
6、导出jar包
依次点击【file】【Project Structure】
点击【Artfacts】【JAR】【From modules with dependencies...】
点击【OK】退出即可
点击【Build】【Build Artfacts...】
在项目层级中可以看到生成的【out】文件夹，打开后找到对应的【jar】包文件。
7、启动hadoop服务
8、上传【jar】包以及【info.txt】文件至【/opt/soft/hadoop/share/hadoop/mapreduce】 下
9、创建存储文件的文件夹
输入以下命令：
cd /opt/soft/hadoop/share/hadoop/mapreduce hadoop fs -mkdir /info hadoop fs -put info.txt /info/info.txt hadoop fs -cat /info/info.txt
文件位置：
10、通过【jar】执行
hadoop jar DEMO1.jar com/item/test/Action /info/info.txt /infos
生成文件位置：
11、查看生成结果
hadoop fs -cat /infos/part-r-00000
12、总结
1、常用的【hdfs】命令一定要熟悉，用的很多。
2、在服务器中运行的时候不能使用【绝对地址D:\\类似的路径】
3、如果存在导出文件夹则会报错，故而生成的文件一定要放置在没有的文件夹内。
