Hive应用实例:WordCount

简介: Hive应用实例:WordCount

Hive应用实例:WordCount

现在我们通过一个实例——词频统计,来深入学习Hive的具体用法。

首先,创建一个需要分析的输入数据文件,然后编写HiveQL语句实现WordCount算法,在Linux系统中实现步骤如下:

(1)创建input目录,其中input为输入目录,命令如下:

cd /usr/local/hadoop
sudo mkdir input

(2)在input文件夹中创建两个测试文件file1.txt和file2.txt,命令如下:

cd /usr/local/hadoop/input
sudo sh -c "echo hello world >> file1.txt"
sudo sh -c "echo hello haddop >> file2.txt"

(3)进入hive命令行窗口,编写HiveQL语句实现WordCount算法,命令如下:

use hive;
create table docs(line string);
load data inpath 'file:///usr/local/hadoop/input' overwrite into table docs;

create table word_count as
select word,count(1) as count from
(select explode(split(line,' ')) as word from docs) w
group by word
order by word;

目录
相关文章
|
10月前
|
SQL JSON 关系型数据库
bigdata-22-Hive高阶应用
bigdata-22-Hive高阶应用
84 0
|
10月前
|
SQL HIVE
hive窗口函数应用实例
hive窗口函数应用实例
202 3
|
10月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
249 1
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 2
大数据Hive窗口函数应用实例
218 0
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 1
大数据Hive窗口函数应用实例
119 0
|
6月前
|
SQL JavaScript 前端开发
用Java、Python来开发Hive应用
用Java、Python来开发Hive应用
62 7
|
6月前
|
SQL JavaScript 前端开发
用Java来开发Hive应用
用Java来开发Hive应用
78 7
|
SQL 存储 数据库
Hive权限管理应用
Hive权限管理应用
411 1
|
SQL 机器学习/深度学习 存储
Hadoop生态系统中的数据查询与分析技术:Hive和Pig的比较与应用场景
Hadoop生态系统中的数据查询与分析技术:Hive和Pig的比较与应用场景
|
SQL 分布式计算 关系型数据库
大数据Hive安装与应用
大数据Hive安装与应用
179 0

热门文章

最新文章