基于Sentry的大数据权限解决方案

简介: Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目……

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户的管理模式。

说明

  • 系统环境说明

Linux环境:centos7.4

CDH:5.16.1

Java:1.8.0_131

Sentry版本:1.5.1

背景

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成,未来会扩展到其他的Hadoop组件,例如HDFS和HBase等。

安装sentry

  1. 在主页,单击群集名称右侧的下拉,点击“添加服务”;

  2. 选择Sentry,点击“继续”;

  3. 选择一组依赖关系;

  4. 确认新服务的主机分配;

  5. 配置存储数据库;

在mysql中创建对应用户和数据库:

mysql> create database sentry default character set utf8 collate utf8_general_ci;
mysql> grant all on sentry.* to 'sentry'@'cdh03.ali.aiwaystack.com' identified by 'sentry';
mysql> flush privileges;
  1. 测试连接

  2. 创建Sentry数据表,启动Sentry服务

Hive开启sentry服务以及开启Hive安全性

  1. 在“Sentry 服务”中选择“Sentry”

  1. 修改下面参数
Hive.warehouse.subdir.inherit.perms-->true

  1. 选择hive-site.xml 的 Hive 服务高级配置代码段(安全阀),增加如下配置:
<property>
    <name>sentry.hive.testing.mode</name>
    <value>false</value>
</property>
  1. 选择“范围”中的“HiveServer2”,修改如下配置:
hive.server2.enable.impersonation, hive.server2.enable.doAs-->false

  1. 选择hive-site.xml 的 HiveServer2 高级配置代码段(安全阀),添加如下配置
<property>
    <name>hive.security.authorization.task.factory</name>
    <value>org.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl</value>
</property>
  1. 选择hive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀),添加如下参数:
<property>
    <name>hive.metastore.client.impl</name>
    <value>org.apache.sentry.binding.metastore.SentryHiveMetaStoreClient</value>
    <description>Sets custom Hive Metastore client which Sentry uses to filter out metadata.</description>
</property>
<property>
    <name>hive.metastore.pre.event.listeners</name>
    <value>org.apache.sentry.binding.metastore.MetastoreAuthzBinding</value>
    <description>list of comma separated listeners for metastore events.</description>
</property>
<property>
    <name>hive.metastore.event.listeners</name>
    <value>org.apache.sentry.binding.metastore.SentryMetastorePostEventListener</value>
    <description>list of comma separated listeners for metastore, post events.</description>
</property>
<property>
    <name>hive.metastore.filter.hook</name>
    <value>org.apache.sentry.binding.metastore.SentryMetaStoreFilterHook</value>
</property>

配置yarn

在“允许的系统用户”参数“allowed.system.users”中添加hive用户

Yarn->配置->min.user.id修改为合适的值,当前为0

配置sentry

管理员组(sentry.service.admin.group)和允许的连接用户(sentry.service.allow.connect)中添加admin用户和组;

选择“服务范围”,修改管理员组,将默认“hive”、“impala”、“hue”删除,并增加“admin”。

在sentry-site.xml 的 Sentry 服务高级配置代码段(安全阀)中添加如下参数:

<property>
    <name>sentry.service.processor.factories</name>
    <value>org.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory,org.apache.sentry.hdfs.SentryHDFSServiceProcessorFactory</value>
</property>
<property>
    <name>sentry.policy.store.plugins</name>
    <value>org.apache.sentry.hdfs.SentryPlugin</value>
</property>
<property>
    <name>sentry.hdfs.integration.path.prefixes</name>
    <value>/user/hive/warehouse</value>
</property>

配置HDFS开启ACLs与sentry权限同步

勾选上即可。

开启其他关联

impala配置使用sentry

HUE配置使用sentry

等待“生成凭据”命令完成

在 Cloudera Manager 中为任何服务启用安全保护之后,将自动触发称为“生成凭据”的命令。您可以在显示正在运行的命令的屏幕右上角看到该命令的进度。请等待此命令完成(通过内含“0”的灰色框表示)。

目录
相关文章
|
10月前
|
Kubernetes 应用服务中间件 API
应对 Nginx Ingress 退役,是时候理清这些易混淆的概念了
本文希望提供一种更简单的方式,来理解这些容易混淆的技术概念:Nginx、Ingress、Ingress Controller、Ingress API、Nginx Ingress、Higress、Gateway API。
4677 195
|
1月前
|
存储 安全 数据挖掘
在线教育系统源码与定制开发:企业搭建网校平台的技术方案解析
企业如何搭建属于自己的在线教育平台?本文从软件开发角度,解析在线教育系统源码与定制开发的区别,介绍课程管理、直播教学、学员管理、在线支付及学习数据分析等核心功能,并探讨视频播放、系统安全、性能扩展和项目实施流程,为教育培训机构、企业培训部门及知识付费平台规划网校系统提供参考。
|
1月前
|
人工智能 弹性计算 编解码
2026阿里云GPU云服务器多少钱?T4/A10/V100/L20全规格计费明细汇总
2026年的阿里云EGS GPU云服务器,价格体系已从"一刀切"进化为精密的分层矩阵。从38元轻量应用服务器到数万元L20多卡实例,从按秒计费到五年锁定折扣,每一个选择都直接关乎你的钱包厚度。 看懂计费模式、理清资源计价逻辑、定期巡检闲置资源、用命令防微杜渐‌——这四把钥匙,便能将阿里云EGS GPU云服务器的上云成本真正压到最低。算力时代,省钱即是竞争力。
316 2
|
1月前
|
人工智能 编解码 并行计算
Stable Diffusion文生图:本地 AI 绘画事实标准入门
Stable Diffusion 是本地AI绘画事实标准,4GB显存即可运行。本文从版本选择(SD1.5/XL)、首图生成到LoRA换风格,一站式打通新手卡点,涵盖部署、参数调优与故障排查。(239字)
|
1月前
|
机器学习/深度学习 人工智能 安全
Qwen3.8抢先体验!大家要有心理准备了,正式版即将发布并开源?!
阿里通义实验室发布Qwen3.8抢先体验版,宣布正式版将全面开源!新模型具备动态MoE、Sparse-Tiled Attention、CoT++自验证、UMT多模态融合及高性价比Flash版本,已开源Qwen3.8-27B与Flash。
338 1
|
1月前
|
弹性计算 人工智能 API
阿里云服务器与AI活动汇总:轻量38元、ECS 云服务器99元、GPU 四折、百炼免费Token一篇讲透
2026年,阿里云的优惠已经从单纯的"新用户首年低价"升级为一套覆盖计算、算力、AI的完整体系。轻量应用服务器、ECS云服务器、GPU云服务器、大模型服务平台(百炼)这四类产品,各自都有对应的活动玩法与省钱路径。本文结合全网公开资料,把这四类产品的活动入口、价格档位、参与方式和避坑要点一次性整理清楚,帮你把钱花在刀刃。
247 1
|
1月前
|
弹性计算 运维 安全
阿里云服务器免费领取攻略:个人新用户3个月、学生1年,涵盖个人/学生/企业申领渠道、服务器配置及运维全流程实操指南
免费ECS为零预算群体打开了一扇接触云计算的大门:个人用户最长三个月、学生最长一年,从注册到上手全流程都不复杂。但免费终究有边界,额度和时间到了要么续要么释放,别让账单悄悄产生。拿到机器后第一件事做好安全加固,只开必要端口,把风险降到最低。然后尽情用这台免费算力去部署、去调试、去积累你的云端实战经验。
628 1
|
1月前
|
人工智能 API 开发工具
把 API 包成 MCP server:怎么做、值不值、坑在哪
本文讲API服务商最实际的问题:手上的API要不要包一层MCP?给出三个判断标准,三条实现路线(官方SDK手写/FastMCP从OpenAPI生成/云厂商工具集),以及上线前必须处理的5个细节——工具描述、参数校验、入站鉴权、字段投影、可观测。附首版验收4条标准与投入产出账。
440 2
|
1月前
|
人工智能 自然语言处理 数据挖掘
千问办公积分包用完了,可以单独购买吗?如何收费?
千问办公积分包专为企业版用户设计,2000积分仅100元,有效期12个月,支持按需增购(2000/2万/20万档)。须绑定有效企业席位使用,管理员可统一管控分配。阿里千问办公QwenWork官网:https://t.aliyun.com/U/0VCTGt
|
1月前
|
人工智能 监控 API
千问大模型零成本上手教程:网页端 + API 免费额度,完整实操一步到位
千问大模型的免费体验分为网页端和API新人额度两条路径。普通用户通过网页端零配置即可完成文档解析、问答创作;开发者领取API免费Token,通过curl、Python脚本实现模型调用,完成原型开发。使用过程中,开启额度用尽自动停止是重中之重,可以规避意外扣费风险。整套方案可以帮助零基础用户低成本熟悉大模型能力,完成学习、创意创作、AI原型验证等各类需求。
671 0

热门文章

最新文章