在debug hive的问题的时候，经常需要分析hive元数据的表结构。
这里简单地说下常用的几个表的结构：
dbs 存储了database的一些信息，id,描述，hdfs中的路径和名称。
tbls 存储了table的一些信息，id，表名等。。其中常用的两个字段是SD_ID和TBL_TYPE，SD_ID后面再说。TBL_TYPE字段 定义了表是外部表（EXTERNAL_TABLE）还是托管表（MANAGED_TABLE）
hive目前的版本是支持view的，view的定义是在tbls表中，TBL_TYPE字段是VIRTUAL_VIEW。
|
1
2
3
4
5
6
7
8
|
select
distinct
TBL_TYPE
from
tbls;
+
----------------+
| TBL_TYPE |
+
----------------+
| MANAGED_TABLE |
| EXTERNAL_TABLE |
| VIRTUAL_VIEW |
+
----------------+
|
tbls中有另外的两个字段标识了view的sql:
VIEW_EXPANDED_TEXT,VIEW_ORIGINAL_TEXT
其中VIEW_ORIGINAL_TEXT 是创建view时输入的sql，而VIEW_EXPANDED_TEXT是对sql进行规范化之后的结果。
table_params 定义了表的statistics信息和一些表的特性，statistics比如文件数量，分区数量，数据量大小等等，不过目前看来不是很准确，特性比如是否可以drop（'PROTECT_MODE'='NO_DROP'）等。。
sds 表存储了table到hdfs路径和format,serial等信息，常用的字段是CD_ID和LOCATION，通过tbls的tbl_id字段和sds关联，可以得出表在hdfs中的路径信息和CD_ID
|
1
2
3
4
5
6
|
select
b.tbl_id,b.tbl_name,c.CD_ID,c.location
from
dbs a,tbls b,sds c
where
a.DB_ID=b.DB_ID
and
b.TBL_NAME=
'partition_test'
and
b.SD_ID=c.SD_ID\G;
*************************** 1. row ***************************
tbl_id: 430381
tbl_name: partition_test
CD_ID: 431456
location: hdfs://bipcluster/bip/hive_warehouse/cdnlog.db/partition_test
|
cds表只存储了cd_id字段
columns_v2 表存储了表的column信息，比如字段名称（COLUMN_NAME），字段类型（TYPE_NAME），字段位置（INTEGER_IDX）等
通过tbls和sds的join可以得出表的cd_id，然后再和columns_v2表进行join即可得出表的字段信息，比如上面的表：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
select
*
from
columns_v2
where
cd_id=
'431456'
\G;
*************************** 1. row ***************************
CD_ID: 431456
COMMENT:
NULL
COLUMN_NAME: ip
TYPE_NAME: string
INTEGER_IDX: 0
*************************** 2. row ***************************
CD_ID: 431456
COMMENT:
NULL
COLUMN_NAME:
size
TYPE_NAME: string
INTEGER_IDX: 2
*************************** 3. row ***************************
CD_ID: 431456
COMMENT:
NULL
COLUMN_NAME: status
TYPE_NAME: string
INTEGER_IDX: 1
|
与partition相关的常用表：
partitions 表分区相关信息，和tbl_id关联，可以获取分区的SD_ID，然后可以获取分区的hdfs路径和column信息。
|
1
2
3
4
|
select
a.PART_NAME,b.LOCATION,b.cd_id
from
partitions a,sds b
where
a.tbl_id=
'430381'
and
a.sd_id=b.sd_id\G;
PART_NAME: dt=20140121
LOCATION: hdfs://bipcluster/bip/hive_warehouse/cdnlog.db/partition_test/dt=20140121
cd_id: 431456
|
partition_params 和table_params信息一样，存储一些statistics相关的信息
partition_key_vals 分区信息，和 partitions的part_id关联
partition_keys 分区键信息，和tbls的tbl_id关联
权限相关的表：
tbl_privs，tbl_col_privs，db_privs，global_privs，roles，role_map 等。
还有剩下的一些表，用得比较少，以后有机会再来看。。
本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1353872，如需转载请自行联系原作者
