运行Hadoop自带的单词统计程序

简介: 运行Hadoop自带的单词统计程序

d8711408121b4d458d5d8e9e18651869_tplv-k3u1fbpfcp-zoom-in-crop-mark_4536_0_0_0.png


Java,hadoop环境变量路径



export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

export PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATH

export CLASSPATH=.:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/dt.jar:JAVAHOME/lib/dt.jar:JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/home/zjq/had/hadoop-2.7.5

export PATH=PATH:PATH:PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin


java单词统计代码



import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
public class WordCount {
  public static class TokenizerMapper
       extends Mapper<Object, Text, Text, IntWritable>{
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
      StringTokenizer itr = new StringTokenizer(value.toString());
      while (itr.hasMoreTokens()) {
        word.set(itr.nextToken());
        context.write(word, one);
      }
    }
  }
  public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();
    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
      int sum = 0;
      for (IntWritable val : values) {
        sum += val.get();
      }
      result.set(sum);
      context.write(key, result);
    }
  }
  public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "word count");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
  }
}

ubuntu新建文本文件



在window新建,直接拖拽


169a01f1f84b4bd8a8bb5c46e9923ad9_tplv-k3u1fbpfcp-zoom-in-crop-mark_4536_0_0_0.png

编译java文件 成为jar



bin/hadoop com.sun.tools.javac.Main WordCount.java  #将WordCount.java编译成三个.class文件
jar cf wc.jar WordCount*.class #将三个.class文件打包成jar文件


752f3b7730554094b62aa2f52567b3a9_tplv-k3u1fbpfcp-zoom-in-crop-mark_4536_0_0_0.png

hadoop运行jar 代码



c180020c25f140fa9896b4f79c47476c_tplv-k3u1fbpfcp-zoom-in-crop-mark_4536_0_0_0.png

bin/hadoop jar wc.jar WordCount /home/zjq/had/hadoop-2.7.5/input /home/zjq/had/hadoop-2.7.5/output



目录
相关文章
|
4月前
|
分布式计算 Hadoop
使用Hadoop ToolRunner 运行wordcount demo
使用Hadoop ToolRunner 运行wordcount demo
26 0
|
4月前
|
分布式计算 监控 Hadoop
Hadoop MR 任务运行时日志分析
Hadoop MR 任务运行时日志分析
24 0
|
4月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
35 0
|
4月前
|
存储 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
67 0
|
5月前
|
分布式计算 Hadoop Java
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
31 0
|
5月前
|
存储 分布式计算 Hadoop
147 Mahout运行在Hadoop集群
147 Mahout运行在Hadoop集群
24 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
Hadoop学习指南:探索大数据时代的重要组成——运行环境搭建
|
7月前
|
分布式计算 安全 Hadoop
大数据Hadoop集群运行程序
大数据Hadoop集群运行程序
68 1
|
7月前
|
分布式计算 资源调度 Hadoop
大数据Hadoop运行环境搭建
大数据Hadoop运行环境搭建
170 0
|
4天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
22 2