开发者社区> 王小王-123> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

基于Hadoop的企业人力资源管理

简介: 基于Hadoop的企业人力资源管理
+关注继续查看


Hadoop实验

想到Hadoop,我们第一时间是想到的什么,大数据,分布式,MapReduce,还是各种Linux相关的命令。还记得小时候看到那些人在一个终端输入那些命令,感觉很厉害的样子,尊称为大佬,但是当自己亲身经历过后,你也许会发现,会的东西你会之后,依然还是这样会,不会的东西你才会去膜拜。

image.png

实验背景

通过学习Hadoop大数据技术,你成功通过了某企业的面试,并得到了一个实习offer:offer信息如下


XXX:


您好!


恭喜您成功通过了面试,本公司IT部门邀请您担任Hadoop Specialist职位, 负责Hadoop系统的管理和维护、HBase数据库的管理、Hive数据库的管理、数据录入与数据分析等。


根据您的面试结果和岗位要求,您的职级评定为I(实习生)。


请于2021年6月18日星期五18:00到G404入职,请带好相关证件和资料。


======以下为敏感信息请勿向第三者透露======


月薪:3000


奖金:0


==========================================


期待您的到来!您将成为本公司的第0000002名员工!


                                                     CQUST公司CEO兼HR部门经理:Mary


                                                                    2021年6月15日


image.png

实验概览

入职后后,你很快收到以下工作任务:

任务一:熟悉公司Hadoop虚拟机环境,列出hadoop的关键参数。

image.png

任务二:在熟悉过Hadoop环境之后,你需要在HDFS上创建工作目录


image.png

并且,将你收到的offer letter上传到你自己的工作目录中去。

为了确保文件上传成功,你需要在上传后查看文件基本属性和内容。

为了确保文件在被意外删除的情况下能够找回来,你需要为你的工作目录创建快照。

任务三:你的老板Mary给了你一张表格,如下

image.png

注:请在表格中的处填入你自己的信息。

为了迎接即将入职的2000万新员工,你需要在HBase中创建这张表,并先将你和你老板的信息录入其中。

字段说明:

员工号:<你的学号>

员工姓名:<你的姓名拼音> (首字母大写)

性别: <F or M> (F-Female, M-Male)

职级:<从下表中取值>

image.png

基本薪酬:<你的月薪数值>

奖金:<你的奖金数值>

部门编号和名称:<从下表中取值>

image.png

数据录入完毕后你需要进行下面的测试:

获取你自己的所有信息

扫描所有的管理类型员工(职级以M开头)的数据

注意:完成Hbase操作后请关闭Hbase

任务四:你的老板Mary还希望你按照任务三表格中的数据和结构创建一个Hive表,以方便公司网站应用使用传统的SQL方式访问这些数据。你需要按照下面的要求创建表:

表名:tb_abc,其中abc为你的姓名拼音首字母

表类型:外部表

表数据文件行格式:逗号分割

例:表格中的数据可以构造成一个csv文件如下

image.png

注:其中的数据仅为示例,你需要使用你自己的数据


表数据文件位置:HR部门目录(如:/CQUST/HR)


1.考虑到新员工数量太多,你决定创建一个分桶表tb_buckts_abc,使用员工号字段将tb_abc中的数据分成3个桶。(分桶)


2.考虑到新员工数量太多,你决定创建一个分区表tb_part_abc,使用部门编号字段将上表中的数据分成3个区(dept_no=10,dept_no=20,dept_no=30)。(分区)


实验步骤

本次实验变量名abc使用wxw,学号使用123

任务一:

image.png

image.png

任务二:

image.png

创建:

hdfs dfs -mkdir -p /CQUST/IT/wxw
hdfs dfs -mkdir -p /user/hadoop/CQUST/IT/wxw

上传:

hdfs dfs -put offerletter.txt /user/hadoop/CQUST/IT/wxw
hdfs dfs -put offerletter.txt /CQUST/IT/wxw

注意这里用copyFromLocal也可以

查看文件夹属性:  

hdfs dfs -ls /user/hadoop/CQUST/IT/wxw
hdfs dfs -ls /CQUST/IT/wxw

注意这里容易混淆,使用 stat,这个命令参数输出的文件的创建时间,但是输出的时间戳和本地不一致

查看文件内容:

hdfs dfs -cat /user/hadoop/CQUST/IT/wxw

创建快照:

hdfs dfsadmin  -allowSnapshot /user/hadoop/CQUST/IT/wxw

任务三:

  1. 数据

image.png

  1. 创建Hbase
create 'emp_sal_dept','emp','salary','dept'

image.png

  1. 插入数据
put 'emp_sal_dept','2019000000','emp:name','Mary'
 
put 'emp_sal_dept','2019000000','emp: gender','F'
 
put 'emp_sal_dept','2019000000','emp:level','M3'
 
put 'emp_sal_dept','2019000000','salary:base','1'
 
put 'emp_sal_dept','2019000000','salary: bonus','1000000'
 
put 'emp_sal_dept','2019000000','dept:no','10'
 
put 'emp_sal_dept','2019000000','dept:name','HR'
 
put 'emp_sal_dept','123','emp:name',' wxw'
 
put 'emp_sal_dept','123','emp: gender','M'
 
put 'emp_sal_dept','123','emp:level','I'
 
put 'emp_sal_dept','123','salary:base','3000'
 
put 'emp_sal_dept','123','salary: bonus','0'
 
put 'emp_sal_dept','123','dept:no','30'
 
put 'emp_sal_dept','123','dept:name','IT'

扫描整张表

scan 'emp_sal_dept'

获取到自己信息

get ' emp_sal_dept ','123'

扫描所有的管理类型员工(职级以M开头)的数据

scan'emp_sal_dept',{FILTER=>"SingleColumnValueFilter ('emp','level',=,'substring:M')"}

 关闭hbase(使用不当会损坏机器)

stop-hbase.sh

任务四

你的老板Mary还希望你按照任务三表格中的数据和结构创建一个Hive表,以方便公司网站应用使用传统的SQL方式访问这些数据。你需要按照下面的要求创建表:

表名:tb_abc,其中abc为你的姓名拼音首字母

表类型:外部表

表数据文件行格式:逗号分割

例:表格中的数据可以构造成一个csv文件如下

image.png

注:其中的数据仅为示例,你需要使用你自己的数据


表数据文件位置:HR部门目录(如:/CQUST/HR)


1.考虑到新员工数量太多,你决定创建一个分桶表tb_buckts_abc,使用员工号字段将tb_abc中的数据分成3个桶。(分桶)


2.考虑到新员工数量太多,你决定创建一个分区表tb_part_abc,使用部门编号字段将上表中的数据分成3个区(dept_no=10,dept_no=20,dept_no=30)。(分区)


常规操作导入数据

create database wxw;
use wxw;
 
create table `wxw`.`tb_wxw_123`  (
  `emp_id` string ,
  `emp_name` string ,
  `gender` string ,
  `emp_level` string,
  `salary_base` int,
  `salary_bonus` int,
  `dept_no` int,
  `dept_name` string
) 
row format delimited fields terminated by ','
stored as textfile; 
LOAD DATA LOCAL INPATH '/home/hadoop/wxw_.txt' INTO TABLE tb_wxw_123;

分区操作

建立分区表

CREATE EXTERNAL TABLE wxw( 
  `emp_id` string ,
  `emp_name` string ,
  `gender` string ,
  `emp_level` string,
  `salary_base` int,
  `salary_bonus` int,
  `dept_no` int,
  `dept_name` string
) PARTITIONED BY (dept_no int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' 
LOCATION '/user/hadoop/data';

导入数据到分区表

ALTER TABLE wxw ADD PARTITION(dept_no=20) LOCATION '/user/hadoop/data/data1';
ALTER TABLE wxw ADD PARTITION(dept_no=10) LOCATION '/user/hadoop/data/data2';
ALTER TABLE wxw ADD PARTITION(dept_no=30) LOCATION '/user/hadoop/data/data3';

分桶操作

建立表格

create external table tb_buck_wxw
(name string, salary float,level string,base string,bonus string,no string,dept_name string)
clustered by(name)   --
sorted by(name DESC)
into 3 buckets
row format delimited
fields terminated by ',';
 
create table wxw(name string, salary float,level string,base string,bonus string,no string,dept_name string)
row format delimited
fields terminated by ',';
 
LOAD DATA local INPATH 'wxw.csv' INTO TABLE wxw;
 
select * from wxw cluster by(name);
 
insert overwrite table tb_buck_wxw
select * from wxw cluster by(name);

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Hadoop03【搭建环境准备】
Hadoop03【搭建环境准备】
21 0
Hadoop hdfs 的shell操作
Hadoop hdfs 的shell操作
114 0
Hadoop Shell命令(基于linux操作系统上传下载文件到hdfs文件系统基本命令学习)
Apache-->hadoop的官网文档命令学习:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。
2454 0
《Hadoop实战第2版》——1.4节Hadoop与分布式开发
本节书摘来自华章社区《Hadoop实战第2版》一书中的第1章,第1.4节Hadoop与分布式开发,作者:陆嘉恒,更多章节内容可以访问云栖社区“华章社区”公众号查看
1131 0
《Hadoop实战第2版》——1.6节Hadoop数据管理
本节书摘来自华章社区《Hadoop实战第2版》一书中的第1章,第1.6节Hadoop数据管理,作者:陆嘉恒,更多章节内容可以访问云栖社区“华章社区”公众号查看
1416 0
Hadoop集群管理
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51474289 HDFS...
857 0
Hadoop学习资源集合
Hadoop是一个由Apache基金会所开发的开源分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。为了云栖社区组织翻译了GitHub Awesome Hadoop 资源,涵盖Hadoop中常见的库与工具、存储方式、数据库,以及相关的书
39031 0
Hadoop资料整理导向
一、Hadoop快速入门 分布式计算开源框架Hadoop_入门实践 一篇不错的hadoop介绍文章 用 Hadoop 进行分布式数据处理---- 入门 Hadoop入门实验 Hadoop入门 一...
1398 0
+关注
王小王-123
快乐代码,精彩人生!
268
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载