聊聊k8s中的hostport和NodePort

本文涉及的产品
公网NAT网关,每月750个小时 15CU
简介: 让服务基于节点暴露端口,大家最先想到的应该都是 nodeport 这种 service,他可以非常方便的为pod代理外部流量,那么 hostport 是什么呢?他和 nodeport 的区别是什么,今天我们来聊聊这个比较小众的 hostport。

NodePort

说到NodePort这种 service 类型, 大家应该都很熟悉了,主要是用来给一组 pod 做集群级别的代理,当然也可以通过设置 XX 让他只在特定节点生效。
集群级别的nodeport:

apiVersion: v1
kind: Service
metadata:
  name: tools-test-service
spec:
  type: NodePort
  selector:
    app: tools-test
  ports:
    - port: 8000
      targetPort: 8000
      # By default and for convenience, the Kubernetes control plane will allocate a port from a range (default: 30000-32767)
      nodePort: 30007

部署后可以查看service:

$ kubectl get svc  tools-test-service
NAME                 TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
tools-test-service   NodePort   10.247.60.117   <none>        8000:30007/TCP   30s

nodeport 如果可以不用填写,这样 kubernetes 会从 30000-32767 这个端口段随机选择一个未被使用的端口。其实这个等于采用默认的外部流量策略externalTrafficPolicy: Cluster
如果希望指定特定节点做 proxy,可以通过设置 externalTrafficPolicy 字段等于 Local:

apiVersion: v1
kind: Service
metadata:
  name: tools-test-service
spec:
  type: NodePort
  externalTrafficPolicy: Local
  selector:
    app: tools-test
  ports:
    - port: 8000
      targetPort: 8000
      nodePort: 30008

到宿主机节点上,可以看到,service 通过 kube-proxy 开启了 10.213.20.196:30008 的监听, 10.213.20.196 是节点:

# netstat -anp | grep 30008
tcp        0      0 10.213.20.196:30008     0.0.0.0:*               LISTEN      7389/kube-proxy

HostPort

NodePort 虽然可以给 pod 提供节点级别的 porxy,但是如果对于一个daemonset,采用 NodePort 方式来申明节点端口就不这么直观了,这个时候就可以使用pod的 hostport 来直接在pod的节点上暴露端口。

apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    app: tools-test
  name: tools-test
spec:
  selector:
    matchLabels:
      app: tools-test
  template:
    metadata:
      labels:
        app: tools-test
    spec:
      containers:
      - command:
        - python
        - -m
        - http.server
        ports:
        - containerPort: 8000
          # When you bind a Pod to a hostPort, it limits the number of places the Pod can be scheduled, because each <hostIP, hostPort, protocol> combination must be unique
          hostPort: 10000
          name: http
          protocol: TCP
        image: python:3.9.5
        imagePullPolicy: IfNotPresent
        name: tools-jupyter
        resources: {}

设置完就可以了。

那 hostport 的实现原理是怎么样的呢?是不是也是开了一个程序监听?通过到节点执行 netstat -anp| grep 10000,发现并没有启动一个监听程序,那说明很可能走的是iptables,我们看看 iptables 的 nat 表:

$ iptables -S -t nat | grep CNI-DN-9c969028fa2789c46c080
# Warning: iptables-legacy tables present, use iptables-legacy to see them
root@kubeflow-worker:/# iptables -S -t nat                                    

-N CNI-HOSTPORT-SETMARK
-N CNI-HOSTPORT-MASQ
-N CNI-HOSTPORT-DNAT
-N CNI-DN-2a6b9967ebd3cd7a5eeb3

-A PREROUTING -m addrtype --dst-type LOCAL -j CNI-HOSTPORT-DNAT
-A POSTROUTING -m comment --comment "CNI portfwd requiring masquerade" -j CNI-HOSTPORT-MASQ
-A OUTPUT -m addrtype --dst-type LOCAL -j CNI-HOSTPORT-DNAT

-A CNI-HOSTPORT-SETMARK -m comment --comment "CNI portfwd masquerade mark" -j MARK --set-xmark 0x2000/0x2000
-A CNI-HOSTPORT-MASQ -m mark --mark 0x2000/0x2000 -j MASQUERADE
-A CNI-HOSTPORT-DNAT -p 6 -m comment --comment "dnat name: \"kindnet\" id: \"07dbe45d8e31690c76141e5e16132b086f6a2d5b63216584009b990a7c08552c\"" -m multiport --dports 10000 -j CNI-DN-2a6b9967ebd3cd7a5eeb3
-A CNI-DN-2a6b9967ebd3cd7a5eeb3 -s 10.244.1.155/32 -p 6 -m tcp --dport 10000 -j CNI-HOSTPORT-SETMARK
-A CNI-DN-2a6b9967ebd3cd7a5eeb3 -s 127.0.0.1/32 -p 6 -m tcp --dport 10000 -j CNI-HOSTPORT-SETMARK
-A CNI-DN-2a6b9967ebd3cd7a5eeb3 -p 6 -m tcp --dport 10000 -j DNAT --to-destination 10.244.1.155:8000

iptables 用法参考:
这里目标 pod 的 ip 是 10.244.1.155,通过 iptables 可以看到,通过CNI-HOSTPORT-DNAT匹配目标端口 10000, jump 到 CNI-DN-2a6b9967ebd3cd7a5eeb3 chain,CNI-DN-2a6b9967ebd3cd7a5eeb3 对于源IP不等于10.244.1.155/32127.0.0.1/32 的流量转到 10.244.1.155:8000,这个地址就是目标 pod 对应的 containerPort

注意:按照官方文档说的,除非绝对必要,否则不要为 Pod 指定 hostPort。 将 Pod 绑定到hostPort时,它会限制 Pod 可以调度的位置数,因为每个 <hostIP, hostPort, protocol>组合必须是唯一的。 如果您没有明确指定 hostIP 和 protocol,Kubernetes 将使用 0.0.0.0 作为默认 hostIP 和 TCP 作为默认 protocol,请在使用 hostPort 之前考虑使用 NodePort 服务。
相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。 &nbsp; &nbsp; 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
Kubernetes 网络安全 容器
在K8S中,有个服务使用service的nodeport进行暴露,发现访问不到如何排查?
在K8S中,有个服务使用service的nodeport进行暴露,发现访问不到如何排查?
|
Kubernetes API 容器
在K8S中,Service的Nodeport端口范围?
在K8S中,Service的Nodeport端口范围?
|
Kubernetes 负载均衡 容器
在K8S中,nodePort的externalTrafficPolicy字段有什么作用?
在K8S中,nodePort的externalTrafficPolicy字段有什么作用?
|
Kubernetes Linux 网络安全
在K8S中,nodePort默认端口范围是多少? 为什么是这个端口范围?
在K8S中,nodePort默认端口范围是多少? 为什么是这个端口范围?
|
Kubernetes 网络协议 Java
k8s的请求dns端口是容器端口还是nodeport端口
k8s的请求dns端口是容器端口还是nodeport端口
262 0
|
消息中间件 负载均衡 Kubernetes
k8s-服务(clusterIP/NodePort/LoadBanlance)
clusterIP 类型的服务 NodePort 类型的服务 LoadBanlance 类型的服务
k8s-服务(clusterIP/NodePort/LoadBanlance)
|
负载均衡 Perl
k8s--service 之 HeadLiness、NodePort 使用
k8s--service 之 HeadLiness、NodePort 使用
|
Kubernetes 测试技术 容器
ali云 ack集群 使用nodePort网络进行 ingress-controller 部署
公司测试环境搭建的ack, 没有直接用clb做公网,使用的原生nodePort+主机公网ip,同时想要尝试部署下ingress-controller,也用nodePort模式。
ali云 ack集群 使用nodePort网络进行 ingress-controller 部署
|
Kubernetes 容器 Perl
Kubernetes - Port,Targetport 和 NodePort的关系
这是 Kubernetes 的ipTables 配置的结果。它维护 nodePort 与 targetPort 的映射。K8s Kube-Proxy使用ipTables来解析特定nodePort上的请求,并将它们重定向到适当的pod。
777 0
|
Kubernetes 网络协议 前端开发
Kubernetes NodePort vs LoadBalancer vs Ingress? 我们应该什么时候使用?(译)
Kubernetes NodePort vs LoadBalancer vs Ingress? 我们应该什么时候使用?(译)
965 0