CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

简介: CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui

在CDH/CDP等大数据平台中,当开启kerberos安全后,如何访问HDFS/YARN/HIVESERVER2 等服务的webui呢?一起看下相关知识。

问题现象

在CDH/CDP等大数据平台中,当开启kerberos安全后,一些常见服务如 HDFS/YARN/HIVESERVER2 的webui, 无法访问,通过chrome浏览器访问时,报错 HTTP ERROR 403,Problem accessing xxx. Reason: java.lang.IllegalArgumentException。截图如下:640.png640.png

640.png

问题原因

大数据集群开启kerberos安全认证后,基于http协议访问常见服务如 hdfs/yarn/hiveserver2 等的webui时,这些服务在服务端大都有专门的参数可以控制是否使用启用 spnego(基于kerberos) 认证,当启用了 spnego 安全认证而客户端浏览器获取不到有效的 kerberos ticket 时,就会报上述错误。

查看服务端配置,发现服务开启了 "Enable Kerberos Authentication for HTTP Web-Consoles", 截图如下:640.png640.png


640.png


通过查看后台日志,也能确认是用户认证问题;同时在客户端浏览器没有获取到有效的kerberos ticket 时,通过firefox浏览器访问目标链接,其报错提示信息更加明确地指出了需要认证:

640.png640.png

注意:当开启了yarn的”Enable Kerberos Authentication for HTTP Web-Consoles“,而没有开启hdfs的”Enable Kerberos Authentication for HTTP Web-Consoles“时,访问yarn web ui 的报错略有不同:

640.png

问题解决

解决方式1

可以关掉 Enable Kerberos Authentication for HTTP Web-Consoles (Secure Web UI for this service is disabled even though Kerberos is enabled.), 如下图所示:(hdfs/yarn都有该选项;hive 需要通过配置高级参数 hive.server2.webui.use.spnego 实现))

640.png640.png640.png

解决方式2

当然也可以安装kerberos windows客户端,并配置firefox浏览器使用本地的kerberos ticket后,当在kerberos windows客户端或命令行使用用户名密码通过kerberos认证获取kerberos ticket后,firefox浏览器就可以正常访问webui了(chrome浏览器中 kerberos 相关配置比较复杂,建议使用firefox浏览器)。

在windows上安装配置kerberos 客户端并配置firefox浏览器以访问开启spnego安全认证的hdfs/yarn/hive webui

安装Kerberos客户端

MIT官网下载并安装:

640.png


配置Kerberos客户端

将Kerberos KDC服务端的配置文件/etc/krb5.conf中的内容拷贝到windows上kerberos客户端文件 krb5.ini 中,该文件路径如下:C:\ProgramData\MIT\Kerberos5\krb5.ini

640.png

配置windows的hosts文件

配置windows的hosts文件,该文件路径如下:C:\Windows\System32\drivers\etc\hosts

640.png

调整PATH环境变量

由于Kerberos客户端和OracleJDK都包含 kerberos 的 klist/kinit等命令工具,为确保后续命令行使用的是Kerberos客户端的klist/kinit,需要配置PATH环境变量将 Kerberos 目录调整靠前,如下图所示:

640.png640.png640.png

调整PATH环境变量前后,命令行klist命令的输出结果不同,如下所示:

640.png

配置firefox浏览器

由于chrome浏览器中 kerberos 相关配置比较复杂,建议配置使用firefox浏览器。 打开firefox浏览器,在地址栏输入about:config,然后搜索并配置如下两个参数: network.auth.use-sspi:将值改为false; network.negotiate-auth.trusted-uris:将值为集群节点ip或主机名;

640.png640.png

获取kerberos ticketb并访问开启spnego认证的hdfs/yarn/hive webui

可以在kerberos windows客户端中通过用户名密码获取获取kerberos ticket,也可以在命令行通过kinit命令获取kerberos ticket。

获取到 kerberos ticket后,通过firefox浏览器就可以正常开启spnego认证的hdfs/yarn/hivewebui了:

640.png640.png640.png640.png640.png


相关文章
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
272 5
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
166 4
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
469 5
|
XML 资源调度 网络协议
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(二)
556 4
|
分布式计算 资源调度 Hadoop
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
大数据-01-基础环境搭建 超详细 Hadoop Java 环境变量 3节点云服务器 2C4G XML 集群配置 HDFS Yarn MapRedece
345 4
|
9月前
|
XML 存储 分布式计算
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
918 70
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
497 6
|
SQL 分布式计算 监控
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
Hadoop-20 Flume 采集数据双写至本地+HDFS中 监控目录变化 3个Agent MemoryChannel Source对比
208 3
|
SQL 分布式计算 Hadoop
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
Hadoop-14-Hive HQL学习与测试 表连接查询 HDFS数据导入导出等操作 逻辑运算 函数查询 全表查询 WHERE GROUP BY ORDER BY(一)
236 4
|
分布式计算 资源调度 Hadoop
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
Hadoop-10-HDFS集群 Java实现MapReduce WordCount计算 Hadoop序列化 编写Mapper和Reducer和Driver 附带POM 详细代码 图文等内容
309 3

热门文章

最新文章