备案控制台
探索云世界
开发者社区 大数据 文章 正文

Hive高级应用（二）

2022-05-13 109
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 笔记

九、Hive中表的类型-外部表

  • 管理表/内部表：MANAGED_TABLE
  • 外部表：EXTERNAL_TABLE
CREATE  EXTERNAL TABLE IF NOT EXISTS db_name.table_name  
  (col_name data_type  )
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
  STORED AS TEXTFILE;
  eg:
  CREATE EXTERNAL TABLE student_ext (
  userid string,
  username string)
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
  STORED AS TEXTFILE;

hive表，两份数据：1.HDFS源数据 2.metastore数据/元数据


十 、管理表和外部表的区别以及应用场景

1.管理表和外部表的区别：

 drop table:
 管理表   ->  HDFS（删除）   +    metastore元数据 （删除）
 外部表   ->  HDFS（不删除）   +   metastore元数据 （删除）

2.应用场景：一份网站的日志数据，用于共享日志数据

统计分析 （日志数据）   -> HDFS(共享日志数据)
   eg:
     CREATE EXTERNAL TABLE student_ext_1 (
        userid string,
        username string)
      ROW FORMAT DELIMITED
      FIELDS TERMINATED BY ','
      STORED AS TEXTFILE
      LOCATION '/user/hive/warehouse/db_hive.db/student';
用户推荐  (日志数据)   -> HDFS（共享日志数据）
   eg：
     CREATE EXTERNAL TABLE student_ext_2 (
      userid string,
      username string)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS TEXTFILE
    LOCATION '/user/hive/warehouse/db_hive.db/student';



十一、分区表

（1）分区表概念

1.分区概念

将一个大表的数据根据一定的条件拆分成若干个小表，每个小表对应一个分区


2.为什么要分区


数据检索性能最大化

数据并行计算的最大化

3.Hive中分区表对应一个单独的文件夹，这个这件夹中的数据就是分区数据


在企业实际应用中，hive表基本都要做分区，例如下面案例：

订单表：hive表（select * from order）
0001,henry,2018-09-09,product-1,50
0002,chenry,2018-10-09,product-2,50
0003,ben,2018-09-09,product-3,50
0004,cherry,2018-10-09,product-4,50
0005,jone,2018-10-09,product-5,50
0006,lili,2018-09-09,product-6,50
0007,chen,2018-10-09,product-7,50
0008,wiwi,2018-09-09,product-8,50

订单分区表：Hive表(201809)  (select * from order where order_date = 201809)
0001,henry,2018-09-09,product-1,50
0003,ben,2018-09-09,product-3,50
0006,lili,2018-09-09,product-6,50
0008,wiwi,2018-09-09,product-8,50

订单分区表：Hive表(201810)  (select * from order where order_date = 201810)
0002,chenry,2018-10-09,product-2,50
0004,cherry,2018-10-09,product-4,50
0005,jone,2018-10-09,product-5,50
0007,chen,2018-10-09,product-7,50


（2）分区表创建一

1.创建分区表：标准用法

CREATE  TABLE order_partition (
  userid string,
  username string,
  order_date string,
  product_name string,
  price string
  )
PARTITIONED BY (month string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

2.加载数据

 load data local inpath '/opt/datas/201809.txt' into  table  order_partition partition(month = '201809');
 load data local inpath '/opt/datas/201810.txt' into  table  order_partition partition(month = '201810');

3.查看数据

select * from order_partition;


1.png

（3）分区表创建二

创建顺序:

no partition

1.HDFS上创建数据表的目录

dfs -mkdir -p /user/hive/warehouse/db_hive.db/nopartition;

2.加载数据（put）

dfs -put /opt/datas/order0910.txt /user/hive/warehouse/db_hive.db/nopartition;

3.创建表

 CREATE  TABLE nopartition (
  userid string,
  username string,
  order_date string,
  product_name string,
  price string
  )
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

4.查看数据

select * from nopartition;

2.png

partition


1.HDFS上创建数据表的目录

dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_par/month=201809;
  dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_par/month=201810;

2.加载数据（put）


dfs -put /opt/datas/201809.txt /user/hive/warehouse/db_hive.db/order_par/month=201809;
  dfs -put /opt/datas/201810.txt /user/hive/warehouse/db_hive.db/order_par/month=201810;

3.创建表

create table order_par(userid string,username string,order_date string,product_name string,price string) partitioned by (month string) row format delimited fields terminated by ',' stored as textfile;

4.创建元数据

alter table order_par add partition(month = '201809');
alter table order_par add partition(month = '201810');

5.查看数据

select * from order_par;

3.png



十二、Hive分区表在企业中的应用

日志数据：每天都有一份，我们要所有的数据加载到Hive表中并进行分析。

Hive表如何设计：


分区表（month + day + time）


第一种方案（不可取）


1.创建表

2.加载数据

load data local inpath '数据源' into table 数据表 partition(month = '01' ,day = '01',time ='00')

第二种方案（经常采用的），采用脚本的方式

1.hdfs上创建数据表目录

 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=00;
 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=01;
 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=02;
 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=03;

2.加载数据

 dfs -put /opt/datas/order_2018090100.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=00;
 dfs -put /opt/datas/order_2018090101.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=01;
 dfs -put /opt/datas/order_2018090102.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=02;
 dfs -put /opt/datas/order_2018090103.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=03;

3.创建表

create table 数据表(userid string,username string,order_date string,product_name string,price string) partitioned by (month string,day string,time string) row format delimited fields terminated by ',' stored as textfile;

4.分区数据（metastore元数据）

 alter table 数据表 add partition(month = '201809',day='01',time='00');
 alter table 数据表 add partition(month = '201809',day='01',time='01');
 alter table 数据表 add partition(month = '201809',day='01',time='02');
 alter table 数据表 add partition(month = '201809',day='01',time='03');
 alter table 数据表 add partition(month = '201809',day='01',time='04');
 alter table 数据表 add partition(month = '201809',day='01',time='05');
 alter table 数据表 add partition(month = '201809',day='01',time='06');

5.数据分析


十三、Hive表数据的六种加载方式

创建表用于测试

 create table order(userid string,username string,order_date string,product_name string,price string) row format delimited fields terminated by ',' stored as textfile;

1.加载本地数据文件到hive表中

load data local inpath '/opt/datas/order0910.txt' into table db_hive.order;

2.加载HDFS文件到hive表中

load data  inpath '/user/caizhengjie/datas/order0910.txt' into table db_hive.order;

3.加载数据覆盖表中已有的数据

load data  inpath '/user/caizhengjie/datas/order0910.txt' overwrite into table db_hive.order;

4.创建表时通过select加载数据

create table order as select * from nopartition;

5.创建表时通过insert 加载数据

create table order like nopartition;
insert into table order select * from nopartition;

6.创建表时通过location指定的数据目录加载

   1)创建数据表目录
   2)将数据文件放到指定的目录
   3)创建表并location指定数据目录


十四、Hive结果数据的保存方式

1.结果数据保存到本地文件中

INSERT OVERWRITE LOCAL DIRECTORY '/opt/datas/hive/'
SELECT * FROM order
INSERT OVERWRITE LOCAL DIRECTORY '/opt/datas/kfk/'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
SELECT * FROM order

2.结果数据保存到hdfs

INSERT OVERWRITE  DIRECTORY '/user/caizhengjie/datas/'
SELECT * FROM order;

3.管道符

bin/hive -e "select * from db_hive.order;"  >  /opt/datas/hive/order.txt
文章标签：
日志服务
数据挖掘
并行计算
SQL
HIVE
关键词：
Hive应用
Hive高级应用
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
游客wkxim4agoo6le
目录
相关文章
Cool架构
|
2月前
|
SQL JSON 关系型数据库
bigdata-22-Hive高阶应用
bigdata-22-Hive高阶应用
Cool架构
28 0
孙玉洁-47170
|
4月前
|
SQL HIVE
hive窗口函数应用实例
hive窗口函数应用实例
孙玉洁-47170
91 3
Maynor
|
5月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
Maynor
104 1
赵广陆
|
8月前
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 2
大数据Hive窗口函数应用实例
赵广陆
92 0
赵广陆
|
8月前
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 1
大数据Hive窗口函数应用实例
赵广陆
51 0
让线程再跑一会
|
5月前
|
SQL HIVE 索引
Hive【Hive（五）函数-高级聚合函数、炸裂函数】
Hive【Hive（五）函数-高级聚合函数、炸裂函数】
让线程再跑一会
91 0
星光下的赶路人
|
9月前
|
SQL HIVE
Hive学习---4、函数（单行函数、高级聚合函数、炸裂函数、窗口函数）（二）
Hive学习---4、函数（单行函数、高级聚合函数、炸裂函数、窗口函数）（二）
星光下的赶路人
104 0
赵广陆
|
8月前
|
SQL 分布式计算 关系型数据库
大数据Hive安装与应用
大数据Hive安装与应用
赵广陆
115 0
赵广陆
|
8月前
|
SQL 数据可视化 大数据
大数据Hive行列转换应用与实现
大数据Hive行列转换应用与实现
赵广陆
117 0
Dlimeng
|
9月前
|
SQL 存储 数据库
Hive权限管理应用
Hive权限管理应用
Dlimeng
224 1

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    【Hive】Hive优化有哪些？
  • 3
    【Hive】请说明hive中 Sort By，Order By，Cluster By，Distrbute By各代表什么意思？
  • 4
    【Hive】Hive的函数：UDF、UDAF、UDTF的区别？
  • 5
    【Hive】Hive有索引吗？
  • 6
    【Hive】Hive的两张表关联，使用MapReduce怎么实现？
  • 7
    【Hive】数据倾斜怎么解决？
  • 8
    Hive【基础知识 05】常用DDL操作（数据库操作+创建表+修改表+清空删除表+其他命令）
  • 9
    【Hive】sort by 和 order by 的区别
  • 10
    Hive【基础知识 02-2】【Hive CLI 命令行工具使用】【详细举例-包含测试脚本文件】
  • 1
    DataWorks报错问题之集成hive数据源报错如何解决
    36
  • 2
    Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
    149
  • 3
    Apache Hudi与Hive集成手册
    76
  • 4
    DataWorks常见问题之hive jdbc加载数据错误如何解决
    36
  • 5
    Hive中日期处理函数的使用（date_format、date_add、date_sub、next_day）
    90
  • 6
    Hive窗口函数案例总结
    24
  • 7
    Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
    97
  • 8
    Hive Delegation Token 揭秘
    48
  • 9
    Flink依赖问题之connector hive依赖冲突如何解决
    63
  • 10
    Flink部署问题之hive表没有数据如何解决
    43

    • 相关课程

    更多
  • 大数据Hive教程精讲
  • Hadoop 分布式计算框架 MapReduce
  • 快速掌握阿里云 E-MapReduce
  • Hadoop快速入门
  • HBase入门教程
  • 实时数据接入：5分钟上手 Flink MySQL 连接器

    • 相关电子书

    更多
  • Comparison of Spark SQL with Hive
  • Hive Bucketing in Apache Spark
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 5分钟上手Flink MySQL连接器
  • 搭建Hadoop环境
    • 下一篇
    2024年阿里云免费云服务器及学生云服务器申请教程参考