四十一、centos安装pig(Pig的应用)

简介: 四十一、centos安装pig(Pig的应用)

环境搭建:


一、pig的安装:

   

1、官网地址pig-0.17.0


Welcome to Apache Pig!

https://pig.apache.org/

   

2、解压:


tar -zxvf pig-0.17.0.tar.gz -C /home

71.png


        3、重命名:


mv pig-0.17.0 pig

72.png


       4、编辑环境变量:


vim /etc/profile


73.png

       5、使环境变量立即生效:


source /etc/profile

       6、启动测试:


               a、进入本地模式:


pig -x local


74.png


                b、进入MapReduce模式:


pig -x mapreduce

75.png


Pig安装完成



二、Pig的应用:


A、计算多维度组合下的平均值

       1、创建测试数据文件:


vim data1.txt


76.png

a       1       2       3       4.2     9.8
a       3       0       5       3.5     2.1
b       7       9       9
a       7       9       9       2.6     6.2
a       1       2       5       7.7     5.9
a       1       2       3       1.4     0.2

       注:此处内容使用Tab键分割


       2、进入本地调试模式:


pig -x local

       3、使用pig计算data1.txt第2.3.4列的所有组合中,最后两列的平均值分别为多少:


A = LOAD 'data1.txt' AS (col1:chararray,col2:int,col3:int,col4:int,col5:double,col6:double);
B = GROUP A BY(col2,col3,col4);
c = FOREACH B GENERATE group,AVG(A.col5),AVG(A.col6);
DUMP c;

77.png


       Pig输出结果如下:


78.png


        注:语句需要一行一行输入执行,可以看到Pig输出结果完全正确


B、统计数据行数

       1、统计A中含col2字段的数据有多少行:


A = LOAD 'data1.txt' AS (col1:chararray,col2:int,col3:int,col4:int,col5:double,col6:double);
B = GROUP A ALL;
C = FOREACH B GENERATE COUNT(A.col2);
DUMP C;


79.png


         2、查看结果:


80.png



       注:这和SQL的Count统计数据行数一样,可以看到结果为  6


C、Pig中使用Shell进行辅助数据处理

       1、创建测试数据data2.txt


vim data2.txt


81.png

1       5       98      =       7
34      8       6       3       2
62      0       6       =       65


       2、将数据中第四列的 “=” 全部替换为9999:


A = LOAD 'data2.txt' AS (col1:int,col2:int,col3:int,col4:chararray,col5:int);
B = STREAM A THROUGH 'awk'{if($4 == "=") print $1"\t"$2"\t"$3"\t9999\t"$5; else print $0}'`;
DUMP B;

         3、查看结果:


82.png


D、向Pig脚本中传入参数

       假设Pig脚本输出的文件是通过外部参数指定的,则此函数不能写死,需要传入


1、在Pig中,传入参数的语句如下:


STORE A INTO '$output_dir';

       其中,output_dir就是传入的参数。在调用Pig的Shell脚本时,可以使用以下语句传入参数


pig -param output_dir="/home/my_output_dir/" my_pig_script.pig

       这里传入的参数output_dir的值为“ /home/my_output_dir/  ”


centos安装pig(Pig的应用)完成


相关文章
|
4天前
|
监控 Linux PHP
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
【02】客户端服务端C语言-go语言-web端PHP语言整合内容发布-优雅草网络设备监控系统-2月12日优雅草简化Centos stream8安装zabbix7教程-本搭建教程非docker搭建教程-优雅草solution
52 20
|
1月前
|
存储 分布式计算 Hadoop
Centos7.9安装kerberos
Centos7.9安装kerberos
82 25
|
27天前
|
存储 Shell 网络安全
Centos7.9安装openldap
Centos7.9安装openldap
52 16
|
28天前
|
数据可视化 Linux 应用服务中间件
Centos7.9安装phpldapadmin
Centos7.9安装phpldapadmin
56 15
|
1月前
|
网络协议 Java 应用服务中间件
centos7环境下tomcat8的安装与配置
本文介绍了在Linux环境下安装和配置Tomcat 8的详细步骤。首先,通过无网络条件下的文件交互软件(如Xftp 6或MobaXterm)下载并解压Tomcat安装包至指定路径,启动Tomcat服务并测试访问。接着,修改Tomcat端口号以避免冲突,并部署Java Web应用项目至Tomcat服务器。最后,调整Linux防火墙规则,确保外部可以正常访问部署的应用。关键步骤包括关闭或配置防火墙、添加必要的端口规则,确保Tomcat服务稳定运行。
|
3月前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第16天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括配置系统源、安装 SQL Server 2019 软件包以及数据库初始化,确保 SQL Server 正常运行。
153 4
|
3月前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第8天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统准备、配置安装源、安装 SQL Server 软件包、运行安装程序、初始化数据库以及配置远程连接。通过这些步骤,您可以顺利地在 CentOS 系统上部署和使用 SQL Server 2019。
168 1
|
4月前
|
Linux 网络安全 数据安全/隐私保护
Linux系统之Centos7安装cockpit图形管理界面
【10月更文挑战第12天】Linux系统之Centos7安装cockpit图形管理界面
171 1
Linux系统之Centos7安装cockpit图形管理界面
|
3月前
|
SQL 存储 Linux
从配置源到数据库初始化一步步教你在CentOS 7.9上安装SQL Server 2019
【11月更文挑战第7天】本文介绍了在 CentOS 7.9 上安装 SQL Server 2019 的详细步骤,包括系统要求检查与准备、配置安装源、安装 SQL Server 2019、配置 SQL Server 以及数据库初始化(可选)。通过这些步骤,你可以成功安装并初步配置 SQL Server 2019,进行简单的数据库操作。
|
4月前
|
NoSQL 数据可视化 Linux
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装
本文介绍了Redis的两个可视化管理工具:付费的Redis Desktop Manager和免费的Another Redis DeskTop Manager,包括它们的下载、安装和使用方法,以及在使用Another Redis DeskTop Manager连接Redis时可能遇到的问题和解决方案。
197 1
redis学习四、可视化操作工具链接 centos redis,付费Redis Desktop Manager和免费Another Redis DeskTop Manager下载、安装