Apache Hive--DDL--创建表--双分区表&小结| 学习笔记

简介: 快速学习 Apache Hive--DDL--创建表--双分区表&小结

开发者学堂课程大数据 Hive 教程精讲Apache Hive--DDL--创建表--双分区表&小结】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/90/detail/1370


Apache Hive--DDL--创建表--双分区表&小结


内容介绍:

一、课堂笔记

 

一、课堂笔记

1hive 建立一张表跟已经存在的结构化的数据文件产生映射关系

映射成功之后,就可以通过写 sql 来分析这结构化的数据避免了写 mr 程序的麻烦

2、数据库---/user/hive/warehouse下的一个文件夹对应

---》数据库文件夹下面的子文件夹/user/hive/warehouse/itcast

.db/t_t1

表的数据位置目前不能随便存放一定要在指定的数据库表的文件夹下面

建立表的时候可能还需要指定分隔符否则有可能映射不成功

3、建表的时候一定要根据结构化数据文件的分隔符类型指定分隔符

建表的字段个数和字段类型要跟结构化数据中的个数类型一致

分隔符一般使用内置的来指定 ROW FORMAT DELIMITED 分割字段还是分割集

合等等

4、分区表字段不能够在表中已经存在

分区字段是一个虚拟的字段不存放任何数据

分区字段的数据来自于装载分区表数据的时候指定的

分区表的字段在 hdfs 上的效果就是在建立表的文件夹下面又创建了子文件

这样的目的把数据的划分更加细致减少了查询时候全表扫描的成本只需要按照指定的分区扫描数据并显示结果即可

1.png

2.png

zhangsanbeijing ,shanghai,tianjin,hangzhou

wangwushanghai,chengdu , wuhan ,haerbin

create table complex_array(name string ,work _locations array<string>)

ROw FORMAT DELIMITED FIELDS TERMINATED BY '\t’COLLECTION ITEMS TERMINATED BY '';

create table t_user(id int,name string) partitioned by (country string) row format delimited fields terminat

LOAD DATA local INPATH '/root/hivedata/5.txt’ INTO rABLE t_user partition (country='USA');

create table day_hour_table (id int,content string) partitioned by (dt string,hour string)

LOAD DATA local INPATH '/root/hivedata/5.txt ' INTO PABE. t_user partition (country='USA ') ;

3.png

相关文章
|
2月前
|
SQL 分布式计算 Hadoop
Apache Hive 帮助文档
Apache Hive 帮助文档
110 9
|
7月前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具, Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案,满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言,助力业务平滑迁移。
|
SQL 关系型数据库 MySQL
Hive报错:HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me
Hive报错:HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me
911 0
|
7月前
|
SQL 数据库 HIVE
Hive【基础知识 05】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
【4月更文挑战第8天】Hive【基础知识 05】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)
112 0
|
7月前
|
SQL JSON 算法
hive学习笔记
hive学习笔记
|
7月前
|
SQL 分布式计算 Java
Apache Hudi与Hive集成手册
Apache Hudi与Hive集成手册
410 0
|
7月前
|
SQL 分布式计算 Hadoop
Hadoop学习笔记(HDP)-Part.15 安装HIVE
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
220 1
Hadoop学习笔记(HDP)-Part.15 安装HIVE
|
7月前
|
SQL 分布式计算 MaxCompute
Apache Flink目前不支持直接写入MaxCompute,但是可以通过Hive Catalog将Flink的数据写入Hive表
Apache Flink目前不支持直接写入MaxCompute,但是可以通过Hive Catalog将Flink的数据写入Hive表
105 3
|
7月前
|
SQL 分布式计算 安全
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
HIVE启动错误:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeExcept
339 0
|
7月前
|
SQL 存储 Apache
流数据湖平台Apache Paimon(四)集成 Hive 引擎
流数据湖平台Apache Paimon(四)集成 Hive 引擎
515 0

推荐镜像

更多