K8S Ingress环境下,Http Redirect端口丢失问题

简介: 近日发现一个问题:应用程序在返回Http Redirect的时候丢失了原先访问的端口。比如,我们这样访问http://IP-A:Port-A/app/delete,这个url会响应302,但是它返回的Response header Location里丢失了端口,正确的结果应该是这样:http://IP-A:Port-A/app/index,但返回的却是:http://IP-A/app/index,把端口丢失了。

近日发现一个问题:应用程序在返回Http Redirect的时候丢失了原先访问 的端口。比如,我们这样访问http://IP-A:Port-A/app/delete,这个url会响应302,但是它返回的Response header Location里丢失了端口,正确的结果应该是这样:http://IP-A:Port-A/app/index,但返回的却是:http://IP-A/app/index,把端口丢失了。

基本情况

我们的部署情况是这样的:

  • 部署了Nginx Ingress,并使用NodePort的方式把Nginx Ingress Service暴露出来
  • 配置了App的Ingress

服务器信息:

Server Name NAT Server K8S Node Nginx Ingress Svc Nginx Ingress Pod App Svc App Pod
IP IP-A IP-B IP-C(Cluster IP/VIP) IP-D(Cluster IP) IP-E(Cluster IP/VIP) IP-F(ClusterIP)
Port Port-A Port-B(Nginx Ingress Svc's NodePort) Port-C 80(Container Port) Port-E Port-F

其实以上也不全是服务器,其中有两个K8S Service不是服务器,它们是VIP,关于这个请看K8S - Using Source IP一文,当访问http://IP-A:Port-A/app/delete的时候,这个请求从左到右贯穿了这些服务器。

顺便一提上面的NAT Server是一台普通的服务器,我们用它做了PAT使我们的Nginx Ingress能够被外网访问到。

观察

我们使用之前提到过的Echo Server来观察透过Ingress访问Echo Server时传递给Echo Server的Request header:http://IP-A:Port-A/echo-server,得到了这些有趣的Request header:

host=IP-A:Port-A
x-original-uri=/echo-server
x-forwarded-for=IP-B
x-forwarded-host=IP-A:Port-A
x-forwarded-port=80 x-forwarded-proto=http

然后直接访问Echo Server Svc,发现是没有上面提到的x-*Request header的。于是怀疑问题出在这几个header上。

名词解释

来讲一下这些头各自代表什么意思。

  • x-forwarded-for,client访问proxy的时候,client的ip。
    在这里之所以是K8S Node的IP,是因为在Nginx Ingress看来请求是来自K8S Node的(好好看看之前提到的K8S - Using Source IP一文),在这之前的NAT它是不知道的。
  • x-forwarded-host,client访问proxy的时候,访问的原始host。
  • x-forwarded-proto,client访问proxy的时候,访问的原始http scheme。
  • x-forwarded-port,client访问proxy的时候,访问的port。
  • x-original-uri,查不到权威资料。

注意,前三个是事实标准,MDN有收录,x-forwarded-portx-original-uri似乎是私有扩展。

实验

找一个趁手的Http Request工具(我用的是Postman),记得把Follow redirect关掉,然后模拟Nginx请求的方式(就是把上面提到的x-* header带上/去掉/修改值)直接请求App Svc。

结果发现x-forwarded-port是Response header Location的关键,即如果x-forwarded-port=Port-A的话,Location就会带上正确的端口。

分析

Redirect url是如何构造的

可以推测,App利用了hostx-forwarded-*这些header来构造redirect url。

在Java Servlet API中,在描述HttpServletResponse#sendRedirect的时候提到,其返回的URL必须是Absolute URL。

Tomcat的org.apache.catalina.connector.ResponsetoAbsolute方法负责构造Absolute URL。

那么它又是如何知道选用什么Port的呢?这个和RemoteIPValve有关,有兴趣的话你可以查阅相关文档。

上面只是讲了Tomcat是如何构造redirect url的,但这个方法不是标准的,不同的容器有各自的实现,毕竟Java Servlet API也没有规定如何构造Absolute URL。

我之前也写过一篇相关话题的文章《反向代理使用https协议,后台tomcat使用http,redirect时使用错误协议的解决办法》,你可以看一看。

为何x-forwarded-port是80

那么问题来了,我明明访问的是IP-A:Port-A,为何Nginx取到的值是80?

这是因为在整个请求链路的前段:NAT Server > K8S Node > Nginx Ingress Svc 都是在第4层工作的,可以认为它们干的事情都是NAT,Nginx Ingress Pod是不知道这些服务器/网络节点的端口,因此它只能把自己的端口80(容器内Port)给x-forwarded-port。

关于这个逻辑你可以查看Nginx Ingress的配置文件就能够知道了:

kubectl -n kube-system exec -it <nginx-ingress-controller-pod-name> -- cat /etc/nginx/nginx.conf

解决办法

请求时带上x-forwarded-port(不靠谱)

查看Nginx Ingress配置文件发现如果最初请求的时候带上x-forwarded-port的话,就能够改变它传递到后面的值,但是这有两个问题:

  1. 通过浏览器访问时,你没有办法加上这个header
  2. 这个header一般都是反向代理加的,也就是在我们的Nginx Ingress之前还得有一个反向代理

所以这个方法不好。

修改tomcat的代码(不靠谱)

虽然可以通过修改tomcat的代码,让它从x-forward-host/host header来取port,但是这个不现实。

修改NAT Server的端口为80(靠谱)

这个方法比较靠谱,只要将NAT Server的端口改成80就没有问题了。

事实上,如果你直接访问K8S Node的话(NodePort方式),也是要将NodePort设置为80,记得前面说的吗?Nginx Ingress无法知道上层NAT的端口。

总而言之,就是你最初请求的URL不能是80之外的端口,必须是http://some-ip/app才可以。

使用Nginx Ingress Annotations(靠谱)

使用Nginx Ingress提供的Proxy redirect annotations,将Location的值做文本替换。

本文转自中文社区-K8S Ingress环境下,Http Redirect端口丢失问题

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
6月前
|
Ubuntu 应用服务中间件 网络安全
Ubuntu 22.04环境下为Odoo开启80端口的方法
通过以上步骤,你应该能够在Ubuntu 22.04环境下为Odoo开启80端口。访问你的域名时,Nginx会将请求代理到Odoo,允许你通过80端口访问Odoo应用。
232 1
|
7月前
|
安全 网络安全
【Azure 环境】当本地网络通过ER专线与Azure云上多个虚拟网络打通,如何通过特定的网络策略来限制本地部分网段访问云上虚拟机22端口?
【Azure 环境】当本地网络通过ER专线与Azure云上多个虚拟网络打通,如何通过特定的网络策略来限制本地部分网段访问云上虚拟机22端口?
100 0
|
7月前
|
Java Shell API
【Azure 环境】Update-MgEntitlementManagementAccessPackageAssignmentPolicy 命令执行时候遇见的 No HTTP Resource was found 问题分析
【Azure 环境】Update-MgEntitlementManagementAccessPackageAssignmentPolicy 命令执行时候遇见的 No HTTP Resource was found 问题分析
|
7月前
|
JavaScript 前端开发 Java
【Azure 环境】各种语言版本或命令,发送HTTP/HTTPS的请求合集
【Azure 环境】各种语言版本或命令,发送HTTP/HTTPS的请求合集
|
9月前
|
机器学习/深度学习 安全 测试技术
【Docker项目实战】在Docker环境下使用RustScan端口扫描工具
【6月更文挑战第9天】在Docker环境下使用RustScan端口扫描工具
166 5
|
9月前
|
Kubernetes 容器 Perl
k8s部署seata 报错 没有提供足够的身份验证信息 [ http-nio-7091-exec-2] [ty.JwtAuthenticationEntryPoint] [ commence] [] : Responding with unauthorized error. Message - Full authentication is required to access this resource
Kubernetes pod 在16:12时出现两次错误,错误信息显示需要完整认证才能访问资源。尽管有此错误,但页面可正常访问。附有yaml配置文件的图片。
633 2
|
10月前
|
JavaScript 前端开发
基于 Node.js 环境,使用内置 http 模块,创建 Web 服务程序
基于 Node.js 环境,使用内置 http 模块,创建 Web 服务程序
|
9月前
|
网络协议 安全 Docker
windows环境下的设置docker远程访问(开放2375端口)
windows环境下的设置docker远程访问(开放2375端口)
1666 0
|
10月前
|
Linux Apache
CentOS 7 源码安装LAMP环境源 和apache监听别的端口
CentOS 7 源码安装LAMP环境源 和apache监听别的端口
82 0