详细解读大数据分析引擎Pig&PigLatin语句(二)

简介: 详细解读大数据分析引擎Pig&PigLatin语句(二)

九、使用PigLatin语句分析数据:


创建员工表:load后加载数据,using后指定分隔符,as后指定包结构


emp = load '/scott/emp.csv' using PigStorage(',') as(empno:int,ename:chararray,job:chararray,mgr:int,hiredate:chararray,sal:int,comm:int,deptno:int);
describe emp;


查看员工表:2


SQL:select * from emp;
PL:emp0 = foreach emp generate *;
dump emp0;


创建部门表:


dept = load '/scott/dept.csv' using PigStorage(',') as(deptno:int,dname:chararray,loc:chararray);


查看部门表:


SQL:select * from dept;
PL:dept0 = foreach dept generate *;
dump dept0;


查询员工号、员工名和薪水:


SQL:select empno,ename,sal from emp;
PL:emp1 = foreach emp generate empno,ename,sal;
dump emp1;


根据薪水对员工表排序:


SQL:select sal from emp order by sal;
PL:emp2 = order emp by sal;
dump emp2;


按照部门号对员工表分组并求每个部门中薪水的最大值:


SQL:select deptno,max(sal) from emp group by deptno;
PL:emp3 = group emp by deptno;
emp4 = foreach emp3 generate group,MAX(emp.sal);
dump emp4;


查看10、20、30号部门的员工


SQL:select * from emp where deptno=10;
select * from emp where deptno=20;
select * from emp where deptno=30;
PL:emp5 = filter emp by deptno==10;
dump emp5;
emp6 = filter emp by deptno==20;
dump emp6;
emp7 = filter emp by deptno==30;
dump emp7;


多表查询,查询员工名和部门名:


SQL:select emp.ename,dept.dname from emp,dept where emp.deptno=dept.deptno;
PL:emp8 = join emp by deptno,dept by deptno
emp9 = foreach emp8 generate emp::ename,dept::dname;
dump emp9;


内连接:


C = join A by id,B by id;


外连接:


左外连接:C = join A by id left outer,B by id; #以左侧数据为基准,只返回左侧有的数据


右外连接:C = join A by id right outer,B by id;#以右侧数据为基准,只返回右侧有的数据


全外连接:C = join A by id full outer, B by id;#两侧数据都返回


联合查询,查询10号部门和20号部门的员工:


SQL:select * from emp where deptno=10
union
select * from dept where deptno=20;
PL: emp10 = filter emp by deptno==10;
emp11 = filter emp by deptno==20;
emp12 = union emp10,emp11;
实现wordcount;


加载数据


mydata = load '/output/data2.txt' as (line:chararray);


将字符串分割成单词


words = foreach mydata generate flatten(TOKENIZE(line)) as word;


对单词分组


grpd = group words by word;


统计每组中单词数量


cntd = foreach grpd generate group,COUNT(words);


结果显示到屏幕上


dump cntd;


结果存储到HDFS上


store cntd into '/pig';



相关文章
|
SQL 存储 分布式计算
详细解读大数据分析引擎Pig&PigLatin语句(一)
详细解读大数据分析引擎Pig&PigLatin语句(一)
212 0
|
SQL 分布式计算 大数据
详细解读大数据分析引擎Pig&PigLatin语句
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! Pig 一、Pig的介绍: Pig由Yahoo开发,主要应用于数据分析,Twitter公司大量使用Pig处理海量数据,Pig之所以是数据分析引擎,是因为Pig相当于一个翻译器,将PigLatin语句翻译成MapReduce程序(只有在执行dump和store命令时才会翻译成MapReduce程序),而PigLatin语句是一种用于处理大规模数据的脚本语言。
1269 0
|
SQL 机器学习/深度学习 存储
Hadoop生态系统中的数据查询与分析技术:Hive和Pig的比较与应用场景
Hadoop生态系统中的数据查询与分析技术:Hive和Pig的比较与应用场景
|
SQL 存储 分布式计算
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别(三)
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别(三)
234 0
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别(三)
|
SQL JSON 分布式计算
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别(二)
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别(二)
278 0
|
SQL 存储 分布式计算
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别(一)
Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别(一)
381 0
|
SQL 分布式计算 关系型数据库
下一篇
无影云桌面