Java实现单词计数MapReduce

简介: 本文分享实现单词计数MapReduce的方法

单词计数:Hadoop Word Count

实现代码:

import java.util.*;

/**
 * 单词计数
 */
public class WordCount {

    private interface OutputCollector<K, V> {
        void collect(K key, V value);
    }

    public static class Map {
        public void map(String key, String value, OutputCollector<String, Integer> output) {
            StringTokenizer tokenizer = new StringTokenizer(value);
            while (tokenizer.hasMoreTokens()) {
                String word = tokenizer.nextToken();
                output.collect(word, 1);
            }
        }
    }

    public static class Reduce {
        public void reduce(String key, Iterator<Integer> values, OutputCollector<String, Integer> output) {
            int sum = 0;
            while (values.hasNext()) {
                sum += values.next();
            }
            output.collect(key, sum);
        }
    }

}
相关文章
|
17天前
|
Java
java字符串练习题6、最后一个单词的长度
java字符串练习题6、最后一个单词的长度
14 0
|
22天前
|
小程序 Java
java猜数字游戏并计数
java猜数字游戏并计数
17 4
|
24天前
|
C++ Python Java
Java每日一练(20230503) 外观数列、有序数组转BST、翻转字符串里的单词
Java每日一练(20230503) 外观数列、有序数组转BST、翻转字符串里的单词
21 0
Java每日一练(20230503) 外观数列、有序数组转BST、翻转字符串里的单词
|
24天前
|
Java Go C++
Java每日一练(20230421) 整数排列、数组排序、单词搜索
Java每日一练(20230421) 整数排列、数组排序、单词搜索
18 0
Java每日一练(20230421) 整数排列、数组排序、单词搜索
|
1月前
|
Java
Java Swing猜英文单词游戏(java+面向对象编程+swing+awt+io流)
Java Swing猜英文单词游戏(java+面向对象编程+swing+awt+io流)
|
6月前
|
存储 Java
Java数据结构之第十五章、Trie(前缀树/单词查找树)
1.前缀树的概念:前缀树又叫字典树或单词查找树(高效的存储和查找字符串集合的数据结构)。2.3.存储形式:存储的字符串可能:全是 小写字母 或全是 大写字母 或全是 数字 或全是 0和1。它是一棵,每个代表一个,从。字典树的根节点不包含字符,每个子节点代表一个字符,从根节点到任意一个节点所经过的路径上的字符连接起来即为该节点所代表的字符串。每个节点可以存储一个或多个字符串,通常使用一个标志来标记一个节点代表的字符串是否存在。当需要在一组字符串中查找某个字符串时,可以利用字典树来实现高效的查找操作。
34 0
|
8月前
|
XML Java 数据格式
Java乐观锁实现文章点击量、收藏计数、点赞计数
当要更新一条记录的时候,希望这条记录没有被别人更新 乐观锁实现方式: 取出记录时,获取当前 version 更新时,带上这个 version 执行更新时, set version = newVersion where version = oldVersion 如果 version 不对,就更新失败
23078 8
|
8月前
|
Java
Java中float,double科学计数法问题
Java中float,double科学计数法问题
|
8月前
|
Java
Java如何避免使用double类型时展示科学计数
Java如何避免使用double类型时展示科学计数
194 0
|
9月前
|
Java
Java每日一练(20230507) 组合总和、缺失的正数、单词搜索II
Java每日一练(20230507) 组合总和、缺失的正数、单词搜索II
62 0