使用 http://heade-1节点IP:port 方式访问8088以及8443端口异常

问题描述

knox 更新证书以后使用 http://heade-1节点IP:port方式访问8088以及8443端口异常，但服务器端口是正常开放的。

分析过程

1.knox 更新证书操作不会影响到IP:port方式的集群UI访问；

2.集群未开通公网，使用的专线走内网的方式来访问的集群UI界面；

--8443端口访问异常是因为该端口是使用knox进行访问的，在当前未开启header-1节点公网访问的场景下，8443端口无法被使用，该异常是正常的。

3.使用ip:port方式访问hdfs和hue原生界面是正常的，只有yarn的RM界面异常。

4.从访问8088端口报错打印Unauthorized access来看，是指Hadoop HTTP Web控制台要求用户身份验证时没权限。

默认情况下，Hadoop HTTP Web 控制台（ResourceManager、NameNode、NodeManagers 和 DataNode）是允许访问而无需进行任何形式的身份验证。

针对当前出现的实际情况，说明在EMR集群上配置过不允许匿名访问的操作。查看hdfs的core-site.xml中的hadoop.http.authentication.simple.anonymous.allowed参数发现是false，说明当前确实是不支持使用匿名请求。

方案结论

方法1. 在ip:port后面加上user.name，例如http://localhost:8088/cluster?user.name=xxx。

方法2. 修改HDFS的hadoop.http.authentication.simple.anonymous.allowed的参数为true，保存后评估合适操作时间，重启HDFS服务生效。

更多信息

当访问yarn原生界面出现如下报错时，修复方法和上述一致。

1. 访问yarn UI报错：HTTP ERROR 403

2. 访问yarn UI或REST API时报错：HTTP ERROR 401

Hadoop HTTP Web 控制台的身份验证

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/HttpAuthentication.html?spm=a2c4g.11186623.0.0.430e492fKGx2wA

适用范围

开源大数据平台E-MapReduce