使用 http://heade-1节点IP:port 方式访问8088以及8443端口异常

简介: 使用 http://heade-1节点IP:port 方式访问8088以及8443端口异常

问题描述

knox 更新证书以后使用 http://heade-1节点IP:port方式访问8088以及8443端口异常,但服务器端口是正常开放的。


分析过程

1.knox 更新证书操作不会影响到IP:port方式的集群UI访问;

2.集群未开通公网,使用的专线走内网的方式来访问的集群UI界面;

--8443端口访问异常是因为该端口是使用knox进行访问的,在当前未开启header-1节点公网访问的场景下,8443端口无法被使用,该异常是正常的。

3.使用ip:port方式访问hdfs和hue原生界面是正常的,只有yarn的RM界面异常。

4.从访问8088端口报错打印Unauthorized access来看,是指Hadoop HTTP Web控制台要求用户身份验证时没权限。

默认情况下,Hadoop HTTP Web 控制台(ResourceManager、NameNode、NodeManagers 和 DataNode)是允许访问而无需进行任何形式的身份验证。

针对当前出现的实际情况,说明在EMR集群上配置过不允许匿名访问的操作。查看hdfs的core-site.xml中的hadoop.http.authentication.simple.anonymous.allowed参数发现是false,说明当前确实是不支持使用匿名请求。


方案结论

方法1. 在ip:port后面加上user.name,例如http://localhost:8088/cluster?user.name=xxx。

方法2. 修改HDFS的hadoop.http.authentication.simple.anonymous.allowed的参数为true,保存后评估合适操作时间,重启HDFS服务生效。


更多信息

当访问yarn原生界面出现如下报错时,修复方法和上述一致。

1. 访问yarn UI报错:HTTP ERROR 403

2. 访问yarn UI或REST API时报错:HTTP ERROR 401

Hadoop HTTP Web 控制台的身份验证

https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/HttpAuthentication.html?spm=a2c4g.11186623.0.0.430e492fKGx2wA


适用范围

开源大数据平台E-MapReduce

相关文章
|
1天前
|
网络安全 数据安全/隐私保护
http代理ip怎样协作电商行业做业务拓展?
在数字化时代,网络安全和隐私保护日益重要,HTTP代理IP成为新兴趋势。它助力电商行业通过匿名访问收集消费者反馈、分析竞品价格和信息,以优化产品、制定市场策略,促进业务拓展。
8 0
http代理ip怎样协作电商行业做业务拓展?
|
10天前
|
数据采集
http代理IP能开展哪些应用?
在互联网时代,HTTP代理IP广泛应用于营销推广、排名优化和数据采集。对于营销,它帮助企业在社交媒体上切换IP以确保推广活动顺利进行;在排名优化中,代理IP避免了因同一IP多账号操作导致的账号暂停,提升企业产品曝光;在数据采集时,通过不断切换IP,提高数据抓取效率,确保任务的高效执行。
11 2
http代理IP能开展哪些应用?
|
12天前
更换了浏览器http代理ip使用不了的原因是什么
在互联网广泛应用的当下,http动态代理ip在各种业务中需求增加。然而,遇到更换浏览器http代理ip后无法使用的情况,可能由以下原因导致:1)ip稳定性差,导致网速过慢;2)ip已失效,提取后未及时使用会过期;3)ip纯净度低,免费代理ip质量通常不佳;4)并发量小,多个用户共享同一ip导致性能下降。为解决问题,用户需注意ip稳定性和时效性,选择高质量代理服务,并考虑并发使用情况。
48 1
更换了浏览器http代理ip使用不了的原因是什么
|
1月前
|
存储 JSON JavaScript
Node.js 上开发一个 HTTP 服务器,监听某个端口,接收 HTTP POST 请求并处理传入的数据
Node.js 上开发一个 HTTP 服务器,监听某个端口,接收 HTTP POST 请求并处理传入的数据
22 0
|
1月前
|
安全 网络协议 网络安全
干货|代理IP协议有何区别?深入了解 SOCKS5、HTTP 代理
HTTP和HTTPS是互联网主要的两大协议,HTTP是基础的简单请求-响应协议,常用于TCP上,但数据传输不安全。HTTPS是HTTP的安全版本,添加了SSL层进行加密和身份验证,提供更高的安全性,用于保护数据和验证网站真实性。HTTPS需CA证书,可能产生费用,并使用443端口而非HTTP的80端口。
|
1月前
|
网络协议 安全 数据安全/隐私保护
干货|代理IP协议有何区别?深入了解 SOCKS5、HTTP 代理
SOCKS5和HTTP是两种代理协议,前者是通用型,支持多种网络流量,提供身份验证、IPv6支持及UDP兼容性,更适合实时数据传输。HTTP代理专用于HTTP协议,适用于Web资源请求。SOCKS5在传输方式、功能、兼容性和安全性上更胜一筹,而HTTP代理则在处理HTTP请求时更专业。选择代理协议应根据需求和应用场景,考虑服务的稳定性和安全性。付费代理如kookeey全球代理,支持双协议,速度快且可扩展性强,是可靠的选择。
|
1月前
|
网络协议 算法 Java
Java中如何通过代理实现对HTTP2网站的访问?
Java中如何通过代理实现对HTTP2网站的访问?
|
1月前
|
API
http代理ip请求并发数是什么?有什么用?
HTTP代理IP请求并发数指单个客户端对API或代理IP同时发起的请求数量,分为API链接请求并发和IP最大连接数。并发是瞬时同时请求,不同提供商限制不同。高并发请求的代理IP服务商能更好地应对程序压力。选择时应考虑这一因素。
|
1月前
|
数据采集 缓存 网络协议
静态代理IP是否支持HTTP和HTTPS?
静态代理IP支持HTTP、HTTPS、FTP、Socks5等协议,HTTP协议因其简单、灵活而常用,通常比HTTPS速度快,因无需加密处理。HTTP代理比SOCKS5代理通常更快,因为HTTP专注于HTTP请求,而SOCKS5处理多种网络流量。静态HTTP代理适合浏览器和爬虫,SOCKS5代理支持更多协议,如TCP、UDP。选择取决于应用场景和需求。
|
1月前
|
数据采集
如何选择高质量http/Socks5代理ip?
选择高质量HTTP、Socks5代理IP对爬虫和数据采集至关重要。了解代理IP类型,根据需求选择HTTP或Socks5代理。选择稳定、快速、分布广泛、数量充足且不易被封的代理IP供应商。关注代理IP速度、质量、稳定性、区域和使用频率。测试代理IP的连接速度、可用性、匿名性和使用频率。定期更换代理IP以保持效率和可靠性。