详细解读大数据分析引擎Pig&PigLatin语句(二)

简介: 详细解读大数据分析引擎Pig&PigLatin语句(二)

九、使用PigLatin语句分析数据:


创建员工表:load后加载数据,using后指定分隔符,as后指定包结构


emp = load '/scott/emp.csv' using PigStorage(',') as(empno:int,ename:chararray,job:chararray,mgr:int,hiredate:chararray,sal:int,comm:int,deptno:int);
describe emp;


查看员工表:2


SQL:select * from emp;
PL:emp0 = foreach emp generate *;
dump emp0;


创建部门表:


dept = load '/scott/dept.csv' using PigStorage(',') as(deptno:int,dname:chararray,loc:chararray);


查看部门表:


SQL:select * from dept;
PL:dept0 = foreach dept generate *;
dump dept0;


查询员工号、员工名和薪水:


SQL:select empno,ename,sal from emp;
PL:emp1 = foreach emp generate empno,ename,sal;
dump emp1;


根据薪水对员工表排序:


SQL:select sal from emp order by sal;
PL:emp2 = order emp by sal;
dump emp2;


按照部门号对员工表分组并求每个部门中薪水的最大值:


SQL:select deptno,max(sal) from emp group by deptno;
PL:emp3 = group emp by deptno;
emp4 = foreach emp3 generate group,MAX(emp.sal);
dump emp4;


查看10、20、30号部门的员工


SQL:select * from emp where deptno=10;
select * from emp where deptno=20;
select * from emp where deptno=30;
PL:emp5 = filter emp by deptno==10;
dump emp5;
emp6 = filter emp by deptno==20;
dump emp6;
emp7 = filter emp by deptno==30;
dump emp7;


多表查询,查询员工名和部门名:


SQL:select emp.ename,dept.dname from emp,dept where emp.deptno=dept.deptno;
PL:emp8 = join emp by deptno,dept by deptno
emp9 = foreach emp8 generate emp::ename,dept::dname;
dump emp9;


内连接:


C = join A by id,B by id;


外连接:


左外连接:C = join A by id left outer,B by id; #以左侧数据为基准,只返回左侧有的数据


右外连接:C = join A by id right outer,B by id;#以右侧数据为基准,只返回右侧有的数据


全外连接:C = join A by id full outer, B by id;#两侧数据都返回


联合查询,查询10号部门和20号部门的员工:


SQL:select * from emp where deptno=10
union
select * from dept where deptno=20;
PL: emp10 = filter emp by deptno==10;
emp11 = filter emp by deptno==20;
emp12 = union emp10,emp11;
实现wordcount;


加载数据


mydata = load '/output/data2.txt' as (line:chararray);


将字符串分割成单词


words = foreach mydata generate flatten(TOKENIZE(line)) as word;


对单词分组


grpd = group words by word;


统计每组中单词数量


cntd = foreach grpd generate group,COUNT(words);


结果显示到屏幕上


dump cntd;


结果存储到HDFS上


store cntd into '/pig';



相关文章
|
SQL 存储 分布式计算
详细解读大数据分析引擎Pig&PigLatin语句(一)
详细解读大数据分析引擎Pig&PigLatin语句(一)
219 0
|
SQL 分布式计算 大数据
详细解读大数据分析引擎Pig&PigLatin语句
欢迎关注大数据和人工智能技术文章发布的微信公众号:清研学堂,在这里你可以学到夜白(作者笔名)精心整理的笔记,让我们每天进步一点点,让优秀成为一种习惯! Pig 一、Pig的介绍: Pig由Yahoo开发,主要应用于数据分析,Twitter公司大量使用Pig处理海量数据,Pig之所以是数据分析引擎,是因为Pig相当于一个翻译器,将PigLatin语句翻译成MapReduce程序(只有在执行dump和store命令时才会翻译成MapReduce程序),而PigLatin语句是一种用于处理大规模数据的脚本语言。
1278 0
|
1月前
|
存储 机器学习/深度学习 分布式计算
大数据技术——解锁数据的力量,引领未来趋势
【10月更文挑战第5天】大数据技术——解锁数据的力量,引领未来趋势
|
5天前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么?
数据架构 ODPS 是什么?
50 7
|
5天前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
15 2
|
17天前
|
数据采集 监控 数据管理
数据治理之道:大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展,数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理,包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理,为企业数据治理提供参考。
59 1
|
1月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
49 3
|
12天前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
28 3
|
12天前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
42 2