大数据问题排查系列-开启 kerberos 后无法访问 HIVESERVER2 等服务的 WEBUI

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据问题排查系列-开启 kerberos 后无法访问 HIVESERVER2 等服务的 WEBUI

大数据问题排查系列-开启 kerberos 后无法访问 HIVESERVER2 等服务的 WEBUI

1 前言

大家好,我是明哥!

在博文“从技术视角看大数据行业的发展趋势”中,我们提到大数据的一个发展趋势是日益重视数据安全。在数据安全上,有四个方面的问题需要解决,即 3A + 1E:

michaelli:从技术视角看大数据行业的发展趋势3 赞同 · 0 评论文章

  • 3A 是指 authentication, authorization 和 audit 即认证,授权和审计,分别解决了用户身份校验,用户权限校验,事后审计监督的问题;
  • 1E 指的是 encryption 即加密,包括对静态数据的加密和对传输过程中数据的加密。
  • 在3A+1E中,authentication 用户认证是基础。试想,如果用户身份验证没有做好,那么就可能冒用别人的身份,安全也就无从谈起了;
  • 在大数据领域,解决 authentication 用户认证问题,事实上的标准是 Kerberos, 常见的主流大数据框架,都支持 kerberos 认证方式。
  • 在实际工作中,几乎所有的金融行业和保险行业的大数据集群都启用了 kerberos, 这一趋势也在快速蔓延到电信行业,制造行业等各个行业;
  • 而同时由于一些小伙伴对 kerberos 不太熟悉,使用过程中由于姿势不对,也遇到了各种五花八门的问题。

有鉴于此,笔者在大数据问题排查系列中,准备专门开一个 kerberos问题排查子序列,专门讲述常见的 kerberos 问题与解决方法。

本文是该子序列第一篇,以下是正文。

2. 问题概述

大数据集群开启kerberos后,一些服务如 HDFS/YARN/HIVESERVER2 的 webui无法访问, 如下图所示,分别对应 chrome 和 firefox 访问 hdfs webui的报错:

image.png

image.png

3 问题原因

  • 通过查看 HDFS/YARN 服务的配置,可以发现开启了 "Enable Kerberos Authentication for HTTP Web-Consoles", 所以此时因为用户通过浏览器访问 WEBUI 时会因为没有认证无法访问;
  • 通过查看服务的后台日志,也能确认是用户认证的问题,以下是相关日志截图:


4 问题解决

  • 解决方法1:可以关掉 hdfs/yarn/hive 的 “Enable Kerberos Authentication for HTTP Web-Consoles”,需要注意,hive 中该配置项需要在高级配置段中设置,如下图所示:

image.png

image.png

  • 解决方法2:如果安全管理很严格,不能采用上述方法1,此时可以安装个 kerberos windows 客户端,在使用浏览器访问 webui前,先在 kerberos windows 客户端通过用户名和密码的认证,然后就可以使用浏览器正常访问 webui了,需要注意 chrome浏览器的相关配置比较复杂,建议使用 firefox 浏览器。相关截图如如下图所示:

image.png

image.png

image.png

image.png

5 知识总结

  • 大数据领域,解决数据安全中用户认证 authentication 问题,事实上的标准是使用 kerberos;
  • 一旦大数据服务开启了 kerberos 安全认证,默认情况下其 webui 页面的访问,同样需要通过 kerberos 认证才能访问;
  • windows下kerberos 安全认证,可以使用 MIT Kerberos 的 windows 客户端,输入principal和对应的密码经过认证后,就可以使用浏览器正常访问开启了 kerberos 安全的大数据服务的 web ui了,且浏览器推荐使用 firefox;
  • 也可以关闭开启了 kerberos 安全认证的大数据服务的 webui 的 http 认证,即“ disable Kerberos Authentication for HTTP Web-Consoles”,此时浏览器访问其 webui 不需要经过 kerberos 安全认证
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
2月前
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
3月前
|
分布式计算 搜索推荐 算法
Java 大视界 -- Java 大数据在智慧养老服务需求分析与个性化服务匹配中的应用(186)
本篇文章探讨了Java大数据技术在智慧养老服务需求分析与个性化服务匹配中的应用。通过整合老年人健康数据与行为数据,结合机器学习与推荐算法,实现对老年人健康风险的预测及个性化服务推荐,提升养老服务的智能化与精准化水平,助力智慧养老高质量发展。
|
3月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
234 5
|
存储 数据采集 监控
大数据技术:开启智能决策与创新服务的新纪元
【10月更文挑战第5天】大数据技术:开启智能决策与创新服务的新纪元
|
DataWorks Kubernetes 大数据
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
飞天大数据平台产品问题之DataWorks提供的商业化服务如何解决
|
消息中间件 监控 Ubuntu
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
356 3
大数据-54 Kafka 安装配置 环境变量配置 启动服务 Ubuntu配置 ZooKeeper
|
存储 分布式计算 druid
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
227 3
|
数据采集 分布式计算 MaxCompute
MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
MaxCompute 分布式计算框架 MaxFrame 服务于北京时间2024年09月27日正式商业化!
272 3
|
机器学习/深度学习 分布式计算 BI
MaxCompute 与阿里云其他服务的协同工作
【8月更文第31天】在当今的数据驱动时代,企业需要处理和分析海量数据以获得有价值的洞察。阿里云提供了一系列的服务来满足不同层次的需求,从数据存储到高级分析。MaxCompute(原名 ODPS)作为阿里云的大规模数据处理平台,提供了强大的计算能力和丰富的功能,可以与阿里云的其他服务无缝集成,形成完整的大数据解决方案。本文将探讨 MaxCompute 如何与其他阿里云服务协同工作,包括存储服务 OSS、数据分析服务 Quick BI 以及机器学习平台 PAI。
205 1

热门文章

最新文章