Hive权限管理应用

一.简介

Hive权限在开发过程中常常用到，Hive本身的权限用来防止用户做不合适的事情，粒度没有那么细（不到列级别、行级别），它是不完整的，数据开发平台用“SQL Standards Based Authorization in HiveServer2”对用户提交的SQL进行权限控制。

Hive权限控制模式主要四种：

• 在Hive 0.13版本之前，是Default Authorization，简称v1，当然官方文章上曾提及该版本存在一些问题。
• 在Hive 0.13或者之后的版本中，提出的是 SQL Standards Based Hive Authorizatio，简称v2。
• Storage Based Authorization in the Metastore Server（用于Metastore Server API的授权，Hive配置不控制权限，通过Hdfs文件进行权限控制）。
• Authorization using Apache Ranger & Sentry方式。

二.元数据字典

2.1 表描述

注意：本章只分析跟权限相关的表。

主要元数据表：

Db_privs 记录了User/Role在DB上的权限

Tbl_privs 记录了User/Role在table上的权限

Tbl_col_privs 记录了User/Role在table column上的权限

Roles 记录了所有创建的role

Role_map 记录了User与Role的对应关系

2.2 授权关键字

三.用户、组和角色

3.1 简介

用户级权限：对于操作系统上用户进入Hive服务的权限控制，和HDFS权限控制一致，都是ACL

支撑。

这里面最好Hadoop，Hive超级管理员是一个用户，这样省的出现一些奇怪的问题。(hive.users.in.admin.role=hdfs)

Hive的权限管理，可以基于用户和组，这个用户和组基于服务器系统创建，也可以基于角色。

3.2 原理

Hive基于元数据库来管理多用户并控制权限。数据分为元数据和数据文件两部分，元数据存储在mysql，而数据文件则是HDFS，控制元数据即控制可访问的数据文件。

配置：

hive.security.authorization.enabled参数是开启权限验证，默认为false。

hive.security.authorization.createtable.owner.grants参数是指表的创建者对表拥有所有权限。

Hive的权限管理是通过用户(User)、组(Group)、角色(Role)来定义，角色定义了权限，赋予给组或用户，用户归属于组。

四.Grant和Revoke权限

角色

# 创建角色
create role role_name;
# 显示角色
show roles;
# 删除角色
drop role role_name;

用户

# 用户进入admin角色权限
set hive.users.in.admin.role;
set role admin;
# 查看某用户的所有角色
show role grant user user_name
# 给角色添加用户
grant role role_name to user user_name;

用户授权

# 基于数据库
grant select on database default to useradmin;
# 基于某张表
grant select on table ppdata to user admin;

组授权

# 基于数据库
grant select on database default to  group  admin;
# 基于某张表
grant select on table ppdata  to  group  admin;

角色授权

# 基于数据库
grant select on database default to  role  admin;
# 基于某张表
grant select on table ppdata to role  admin;

用户移除权限

# 基于数据库
revoke select on database default from useruserB;
# 基于某张表
revoke select on table ppdata from useruserB;

查看角色权限

# 在某个数据库的权限
show grant role role_name on database database_name;
# 在某表的权限
show grant role role_name on [table] table_name;

五.Hive和Hadoop权限关系

原理我在第三模块介绍一些，Hive基于元数据库来管理多用户并控制权限。数据分为元数据和数据文件两部分，元数据存储在mysql，而数据文件则是HDFS，控制元数据即控制可访问的数据文件。

5.1 示例

-- 1 创建 admin 角色
create role admin;
create role role_user2;

-- 2 查看角色
show roles;

-- 3 将 yore 表的 ALL 权限赋予给  admin 角色
grant all on table default.yore to role admin;

-- 3 将 yore 表的 select 权限赋予给  role_user2 角色
grant select on table default.yore to role role_user2;

-- 4.1  将角色 admin 的权限赋予 user1 用户
-- GRANT ROLE admin TO USER user1;

-- 4.2 将角色 role_user2 的权限赋予 user2 用户
-- GRANT ROLE role_user2 TO USER `user2`;

-- 5.1 将 admin 角色添加到 user1 
grant role admin to group user1;
-- 5.2 将 role_user2 角色添加到 user2
grant role role_user2 to group user2;

-- 6 查看 user1 用户组的角色信息
SHOW ROLE GRANT GROUP user1;

-- chakan  role_user2 下的权限信息
SHOW GRANT ROLE role_user2;

-- 7 回收角色
--  7.1 回收  某个角色对 库的 权限
REVOKE SELECT ON TABLE yore FROM ROLE role_user2;
--  7.2 回收摸个组下的 某个角色的权限
REVOKE ROLE role_user2 [, role_name] FROM GROUP user2;

这样可以，通过user1访问，授权的表，绑定角色，Hdfs文件用户和组还是原来的超级管理员角色。

六.数据开放平台的应用

6.1 简介

支持一些组件操作开发平台，其中用到Hive权限管理。

6.2 功能

• 管理员可以将指定用户加入角色admin。
• 数据库dataset的所有者为角色admin，只有具有角色admin的用户才可以在此库中完成建表、修改表、删除表等操作。
• 普通用户无法查看或使用没有权限的数据库、没有权限的表（需要扩展现有的权限机制）。
• 管理员可将数据库dataset中的表（视图）查询权限赋予某个角色或某个用户。
• 普通用户是自己用户主（从）库的所有者，即拥有库内所有表（视图）的所有权限。
• 普通用户可以将自己拥有的权限赋予给其它角色或用户。
  由于平台基于大数据架构上集成，支持多租户，权限管理一脉相承。

根据平台用户查询db
mybatis的xml

select NAME from(
                    select t2.NAME  as NAME
                    from DB_PRIVS t1, DBS t2
                    where (lcase(t1.PRINCIPAL_NAME) = #{userName,jdbcType=VARCHAR}
                        OR t1.PRINCIPAL_NAME IN (SELECT ROLE FROM(SELECT r.ROLE_NAME AS ROLE, u.PRINCIPAL_NAME AS USER FROM ROLES r LEFT JOIN (SELECT * FROM ROLE_MAP WHERE PRINCIPAL_TYPE = 'USER') u ON r.ROLE_ID = u.ROLE_ID)AS T where T.USER = #{userName,jdbcType=VARCHAR}))
                      and lcase(t1.DB_PRIV) in ('select','all') and t1.DB_ID =t2.DB_ID

                    union all

                    select t3.NAME as NAME
                    from TBL_PRIVS t1, TBLS t2 , DBS t3
                    where t1.TBL_ID=t2.TBL_ID and lcase(t1.TBL_PRIV) in ('select','all') and (
                            lcase(t1.PRINCIPAL_NAME) = #{userName,jdbcType=VARCHAR} or lcase(t1.PRINCIPAL_NAME) in (SELECT ROLE FROM(SELECT r.ROLE_NAME AS ROLE, u.PRINCIPAL_NAME AS USER FROM ROLES r LEFT JOIN (SELECT * FROM ROLE_MAP WHERE PRINCIPAL_TYPE = 'USER') u ON r.ROLE_ID = u.ROLE_ID)AS T where T.USER = #{userName,jdbcType=VARCHAR}))
                      and t2.DB_ID=t3.DB_ID) a
GROUP BY NAME
order by NAME

这个有两部分，一部分查询DBS和DB_PRIVS角色，还有一部分，TBL_PRIVS, TBLS，DBS
查询角色。

根据平台用户查询表
mybatis的xml

select t2.TBL_NAME as NAME, t2.TBL_TYPE as TYPE, t2.CREATE_TIME as CREATE_TIME, t2.LAST_ACCESS_TIME as LAST_ACCESS_TIME, t2.OWNER as OWNER
from DB_PRIVS t1,TBLS t2, DBS t3
where  t1.DB_ID =t3.DB_ID
  and t2.DB_ID=t3.DB_ID
  and lcase(t1.DB_PRIV) in ('select','all')
  and lcase(t1.PRINCIPAL_NAME) = #{userName,jdbcType=VARCHAR}
  and t3.NAME = #{dbName,jdbcType=VARCHAR}
union
select t2.TBL_NAME as NAME, t2.TBL_TYPE as TYPE, t2.CREATE_TIME as CREATE_TIME, t2.LAST_ACCESS_TIME as LAST_ACCESS_TIME, t2.OWNER as OWNER
from DB_PRIVS t1,TBLS t2, DBS t3
where  t1.DB_ID =t3.DB_ID
  and t2.DB_ID=t3.DB_ID
  and lcase(t1.DB_PRIV) in ('select','all')
  and lcase(t1.PRINCIPAL_NAME) in (select ROLE_NAME from ROLES where ROLE_ID in (select ROLE_ID from ROLE_MAP where PRINCIPAL_NAME = #{userName,jdbcType=VARCHAR}))
  and t3.NAME = #{dbName,jdbcType=VARCHAR}
union
select t2.TBL_NAME as NAME, t2.TBL_TYPE as TYPE, t2.CREATE_TIME as CREATE_TIME, t2.LAST_ACCESS_TIME as LAST_ACCESS_TIME, t2.OWNER as OWNER
from TBL_PRIVS t1, TBLS t2 , DBS t3
where t1.TBL_ID=t2.TBL_ID
  and t2.DB_ID=t3.DB_ID
  and lcase(t1.TBL_PRIV) in ('select','all')
  and t1.PRINCIPAL_NAME = #{userName,jdbcType=VARCHAR}
  and t3.NAME = #{dbName,jdbcType=VARCHAR}
union
select t2.TBL_NAME as NAME, t2.TBL_TYPE as TYPE, t2.CREATE_TIME as CREATE_TIME, t2.LAST_ACCESS_TIME as LAST_ACCESS_TIME, t2.OWNER as OWNER
from TBL_PRIVS t1, TBLS t2 , DBS t3
where t1.TBL_ID=t2.TBL_ID
  and t2.DB_ID=t3.DB_ID
  and lcase(t1.TBL_PRIV) in ('select','all')
  and t1.PRINCIPAL_NAME in (select ROLE_NAME from ROLES where ROLE_ID in (select ROLE_ID from ROLE_MAP where PRINCIPAL_NAME = #{userName,jdbcType=VARCHAR}))
  and t3.NAME = #{dbName,jdbcType=VARCHAR}
order by NAME;

• 查询DB_PRIVS，TBLS，DBS角色关系
• 查询TBL_PRIVS，TBLS，DBS角色关系

七.演化

后续整个平台基于Ldap结合起来，把Linux用户,平台用户统一管理起来。

可以集成Sentry统一管理。

八.不足

权限的赋予是以表级别或视图级别进行的，不支持数据库级别的授权。这可能会带来同一个团队成员之间或不同团队成员之间共享数据不方便，均需要以表或视图进行相应的授权，但好处是用户的数据（表或视图）更安全。

九.总结

目前平台用的Hive权限介绍完了，还有些不足，后续可以通过平台的工作空间管理。