AI 助理
备案控制台
开发者社区 大数据 文章 正文

Hive高级应用（二）

2022-05-13 126
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： 笔记

九、Hive中表的类型-外部表

  • 管理表/内部表：MANAGED_TABLE
  • 外部表：EXTERNAL_TABLE
CREATE  EXTERNAL TABLE IF NOT EXISTS db_name.table_name  
  (col_name data_type  )
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
  STORED AS TEXTFILE;
  eg:
  CREATE EXTERNAL TABLE student_ext (
  userid string,
  username string)
  ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
  STORED AS TEXTFILE;

hive表，两份数据：1.HDFS源数据 2.metastore数据/元数据


十 、管理表和外部表的区别以及应用场景

1.管理表和外部表的区别：

 drop table:
 管理表   ->  HDFS（删除）   +    metastore元数据 （删除）
 外部表   ->  HDFS（不删除）   +   metastore元数据 （删除）

2.应用场景：一份网站的日志数据，用于共享日志数据

统计分析 （日志数据）   -> HDFS(共享日志数据)
   eg:
     CREATE EXTERNAL TABLE student_ext_1 (
        userid string,
        username string)
      ROW FORMAT DELIMITED
      FIELDS TERMINATED BY ','
      STORED AS TEXTFILE
      LOCATION '/user/hive/warehouse/db_hive.db/student';
用户推荐  (日志数据)   -> HDFS（共享日志数据）
   eg：
     CREATE EXTERNAL TABLE student_ext_2 (
      userid string,
      username string)
    ROW FORMAT DELIMITED
    FIELDS TERMINATED BY ','
    STORED AS TEXTFILE
    LOCATION '/user/hive/warehouse/db_hive.db/student';



十一、分区表

（1）分区表概念

1.分区概念

将一个大表的数据根据一定的条件拆分成若干个小表，每个小表对应一个分区


2.为什么要分区


数据检索性能最大化

数据并行计算的最大化

3.Hive中分区表对应一个单独的文件夹，这个这件夹中的数据就是分区数据


在企业实际应用中，hive表基本都要做分区，例如下面案例：

订单表：hive表（select * from order）
0001,henry,2018-09-09,product-1,50
0002,chenry,2018-10-09,product-2,50
0003,ben,2018-09-09,product-3,50
0004,cherry,2018-10-09,product-4,50
0005,jone,2018-10-09,product-5,50
0006,lili,2018-09-09,product-6,50
0007,chen,2018-10-09,product-7,50
0008,wiwi,2018-09-09,product-8,50

订单分区表：Hive表(201809)  (select * from order where order_date = 201809)
0001,henry,2018-09-09,product-1,50
0003,ben,2018-09-09,product-3,50
0006,lili,2018-09-09,product-6,50
0008,wiwi,2018-09-09,product-8,50

订单分区表：Hive表(201810)  (select * from order where order_date = 201810)
0002,chenry,2018-10-09,product-2,50
0004,cherry,2018-10-09,product-4,50
0005,jone,2018-10-09,product-5,50
0007,chen,2018-10-09,product-7,50


（2）分区表创建一

1.创建分区表：标准用法

CREATE  TABLE order_partition (
  userid string,
  username string,
  order_date string,
  product_name string,
  price string
  )
PARTITIONED BY (month string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

2.加载数据

 load data local inpath '/opt/datas/201809.txt' into  table  order_partition partition(month = '201809');
 load data local inpath '/opt/datas/201810.txt' into  table  order_partition partition(month = '201810');

3.查看数据

select * from order_partition;


1.png

（3）分区表创建二

创建顺序:

no partition

1.HDFS上创建数据表的目录

dfs -mkdir -p /user/hive/warehouse/db_hive.db/nopartition;

2.加载数据（put）

dfs -put /opt/datas/order0910.txt /user/hive/warehouse/db_hive.db/nopartition;

3.创建表

 CREATE  TABLE nopartition (
  userid string,
  username string,
  order_date string,
  product_name string,
  price string
  )
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

4.查看数据

select * from nopartition;

2.png

partition


1.HDFS上创建数据表的目录

dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_par/month=201809;
  dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_par/month=201810;

2.加载数据（put）


dfs -put /opt/datas/201809.txt /user/hive/warehouse/db_hive.db/order_par/month=201809;
  dfs -put /opt/datas/201810.txt /user/hive/warehouse/db_hive.db/order_par/month=201810;

3.创建表

create table order_par(userid string,username string,order_date string,product_name string,price string) partitioned by (month string) row format delimited fields terminated by ',' stored as textfile;

4.创建元数据

alter table order_par add partition(month = '201809');
alter table order_par add partition(month = '201810');

5.查看数据

select * from order_par;

3.png



十二、Hive分区表在企业中的应用

日志数据：每天都有一份，我们要所有的数据加载到Hive表中并进行分析。

Hive表如何设计：


分区表（month + day + time）


第一种方案（不可取）


1.创建表

2.加载数据

load data local inpath '数据源' into table 数据表 partition(month = '01' ,day = '01',time ='00')

第二种方案（经常采用的），采用脚本的方式

1.hdfs上创建数据表目录

 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=00;
 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=01;
 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=02;
 dfs -mkdir -p /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=03;

2.加载数据

 dfs -put /opt/datas/order_2018090100.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=00;
 dfs -put /opt/datas/order_2018090101.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=01;
 dfs -put /opt/datas/order_2018090102.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=02;
 dfs -put /opt/datas/order_2018090103.txt /user/hive/warehouse/db_hive.db/order_part/month=201809/day=01/time=03;

3.创建表

create table 数据表(userid string,username string,order_date string,product_name string,price string) partitioned by (month string,day string,time string) row format delimited fields terminated by ',' stored as textfile;

4.分区数据（metastore元数据）

 alter table 数据表 add partition(month = '201809',day='01',time='00');
 alter table 数据表 add partition(month = '201809',day='01',time='01');
 alter table 数据表 add partition(month = '201809',day='01',time='02');
 alter table 数据表 add partition(month = '201809',day='01',time='03');
 alter table 数据表 add partition(month = '201809',day='01',time='04');
 alter table 数据表 add partition(month = '201809',day='01',time='05');
 alter table 数据表 add partition(month = '201809',day='01',time='06');

5.数据分析


十三、Hive表数据的六种加载方式

创建表用于测试

 create table order(userid string,username string,order_date string,product_name string,price string) row format delimited fields terminated by ',' stored as textfile;

1.加载本地数据文件到hive表中

load data local inpath '/opt/datas/order0910.txt' into table db_hive.order;

2.加载HDFS文件到hive表中

load data  inpath '/user/caizhengjie/datas/order0910.txt' into table db_hive.order;

3.加载数据覆盖表中已有的数据

load data  inpath '/user/caizhengjie/datas/order0910.txt' overwrite into table db_hive.order;

4.创建表时通过select加载数据

create table order as select * from nopartition;

5.创建表时通过insert 加载数据

create table order like nopartition;
insert into table order select * from nopartition;

6.创建表时通过location指定的数据目录加载

   1)创建数据表目录
   2)将数据文件放到指定的目录
   3)创建表并location指定数据目录


十四、Hive结果数据的保存方式

1.结果数据保存到本地文件中

INSERT OVERWRITE LOCAL DIRECTORY '/opt/datas/hive/'
SELECT * FROM order
INSERT OVERWRITE LOCAL DIRECTORY '/opt/datas/kfk/'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
SELECT * FROM order

2.结果数据保存到hdfs

INSERT OVERWRITE  DIRECTORY '/user/caizhengjie/datas/'
SELECT * FROM order;

3.管道符

bin/hive -e "select * from db_hive.order;"  >  /opt/datas/hive/order.txt
文章标签：
日志服务
数据挖掘
并行计算
SQL
HIVE
关键词：
Hive应用
Hive高级应用
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
游客wkxim4agoo6le
目录
相关文章
Cool架构
|
7月前
|
SQL JSON 关系型数据库
bigdata-22-Hive高阶应用
bigdata-22-Hive高阶应用
Cool架构
61 0
孙玉洁-47170
|
7月前
|
SQL HIVE
hive窗口函数应用实例
hive窗口函数应用实例
孙玉洁-47170
175 3
Maynor
|
7月前
|
SQL 数据采集 数据挖掘
大数据行业应用之Hive数据分析航班线路相关的各项指标
大数据行业应用之Hive数据分析航班线路相关的各项指标
Maynor
211 1
赵广陆
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 2
大数据Hive窗口函数应用实例
赵广陆
167 0
赵广陆
|
SQL 大数据 开发工具
大数据Hive窗口函数应用实例 1
大数据Hive窗口函数应用实例
赵广陆
102 0
顾翔
|
3月前
|
SQL JavaScript 前端开发
用Java、Python来开发Hive应用
用Java、Python来开发Hive应用
顾翔
40 7
顾翔
|
3月前
|
SQL JavaScript 前端开发
用Java来开发Hive应用
用Java来开发Hive应用
顾翔
42 7
让线程再跑一会
|
7月前
|
SQL HIVE 索引
Hive【Hive（五）函数-高级聚合函数、炸裂函数】
Hive【Hive（五）函数-高级聚合函数、炸裂函数】
让线程再跑一会
353 0
Dlimeng
|
SQL 存储 数据库
Hive权限管理应用
Hive权限管理应用
Dlimeng
362 1
赵广陆
|
SQL 分布式计算 关系型数据库
大数据Hive安装与应用
大数据Hive安装与应用
赵广陆
160 0

热门文章

最新文章

  • 1
    了解Hive 工作原理：Hive 是如何工作的？
  • 2
    Hive架构优点及使用场景
  • 3
    HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令
  • 4
    如何将阿里云EMR中的Hive表数据迁移为Iceberg表？
  • 5
    [Hive]Hive使用指南四 客户端导入数据
  • 6
    Hive窗口函数保姆级教程 （一）
  • 7
    HADOOP之HIVE+MYSQL,HBASE+ZOOKEEPER
  • 8
    三十六、centos安装hive3.1.2（精讲篇）
  • 9
    使用presto查询同步到hive的hudi数据
  • 10
    hive0.13 cli启动缓慢问题
  • 1
    了解Hive 工作原理：Hive 是如何工作的？
    19
  • 2
    【赵渝强老师】Hive的分区表
    163
  • 3
    【赵渝强老师】Hive的内部表与外部表
    62
  • 4
    【赵渝强老师】Hive的体系架构
    77
  • 5
    Hive和Pig的区别是什么？如何选择？
    55
  • 6
    大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
    67
  • 7
    Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
    110
  • 8
    Hadoop-21 Sqoop 数据迁移工具 简介与环境配置 云服务器 ETL工具 MySQL与Hive数据互相迁移 导入导出
    96
  • 9
    Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
    53
  • 10
    Hadoop-16-Hive HiveServer2 HS2 允许客户端远程执行HiveHQL HCatalog 集群规划 实机配置运行
    58

    • 相关课程

    更多
  • 大数据Hive教程精讲
  • HBase入门教程
  • Hadoop快速入门
  • HBase入门与实战
  • Hadoop 分布式计算框架 MapReduce
  • E-MapReduce入门

    • 相关电子书

    更多
  • Comparison of Spark SQL with Hive
  • Hive Bucketing in Apache Spark
  • 2019大数据技术公开课第五季—Hive迁移到MaxCompute最佳实践

    • 相关实验场景

    更多
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 5分钟上手Flink MySQL连接器
    • 下一篇
    DataWorks售前咨询