Hive应用实例:WordCount

简介: Hive应用实例:WordCount

Hive应用实例:WordCount

现在我们通过一个实例——词频统计,来深入学习Hive的具体用法。

首先,创建一个需要分析的输入数据文件,然后编写HiveQL语句实现WordCount算法,在Linux系统中实现步骤如下:

(1)创建input目录,其中input为输入目录,命令如下:

cd /usr/local/hadoop
sudo mkdir input

(2)在input文件夹中创建两个测试文件file1.txt和file2.txt,命令如下:

cd /usr/local/hadoop/input
sudo sh -c "echo hello world >> file1.txt"
sudo sh -c "echo hello haddop >> file2.txt"

(3)进入hive命令行窗口,编写HiveQL语句实现WordCount算法,命令如下:

use hive;
create table docs(line string);
load data inpath 'file:///usr/local/hadoop/input' overwrite into table docs;

create table word_count as
select word,count(1) as count from
(select explode(split(line,' ')) as word from docs) w
group by word
order by word;

目录
相关文章
|
5月前
|
SQL JSON 关系型数据库
bigdata-22-Hive高阶应用
bigdata-22-Hive高阶应用
49 0
|
5月前
|
SQL HIVE
hive窗口函数应用实例
hive窗口函数应用实例
140 3
|
5月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
174 1
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 2
大数据Hive窗口函数应用实例
134 0
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 1
大数据Hive窗口函数应用实例
81 0
|
27天前
|
SQL JavaScript 前端开发
用Java来开发Hive应用
用Java来开发Hive应用
27 7
|
27天前
|
SQL JavaScript 前端开发
用Java、Python来开发Hive应用
用Java、Python来开发Hive应用
24 6
|
SQL 存储 数据库
Hive权限管理应用
Hive权限管理应用
331 1
|
SQL 分布式计算 关系型数据库
大数据Hive安装与应用
大数据Hive安装与应用
146 0
|
SQL 数据可视化 大数据
大数据Hive行列转换应用与实现
大数据Hive行列转换应用与实现
178 0