背景
由于多个团队的服务之间得测试环境在不同网段，现在两个集群需要联调，一个是部署在内网的各种数据库环境，如kafka，mysql，redis，另一个是跑在云上的k8s应用，对外网走的 EIP + ELB + istio-ingressgateway 的方式，现在线上集群需要调用线下内网服务。
整体解决方案
整体架构：
确定核心架构后，拆分工作目标
工作拆分
主要可以分为三块工作：
- 在k8s集群构建一个 sshd 服务
- 用 istio-ingressgateway 挂载 ELB，为 sshd 服务构建路由
- 在内网构建反向代理
集群中构建 sshd 服务
编写 Dockerfile
这里选用的是 rastasheep/ubuntu-sshd 的 Dockerfile 作为基础镜像构建：
FROM rastasheep/ubuntu-sshd:14.04
RUN echo "GatewayPorts yes" >> /etc/ssh/sshd_config
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]注意需要添加GatewayPorts
构建 Dockerfile:
docker build -t registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1 .推送上云端镜像仓库：
docker login registry.cn-shenzhen.aliyuncs.com
docker push registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1编写 k8s 应用配置
构建 deployment 和 services 服务：
apiVersion: apps/v1
kind: Deployment
metadata:
labels:
app: tools-sshd-jumpserver
name: tools-sshd-jumpserver
spec:
replicas: 1
selector:
matchLabels:
app: tools-sshd-jumpserver
template:
metadata:
labels:
app: tools-sshd-jumpserver
spec:
containers:
- image: registry.cn-shenzhen.aliyuncs.com/shikanon/sshd:v0.1
imagePullPolicy: Always
name: tools-sshd-jumpserver
imagePullSecrets:
- name: regcred
---
apiVersion: v1
kind: Service
metadata:
labels:
app: tools-sshd-jumpserver
name: tools-sshd-jumpserver
spec:
type: ClusterIP
selector:
app: tools-sshd-jumpserver
ports:
- name: ssh
port: 22
targetPort: 22
protocol: TCP
- name: kafka
port: 9092
targetPort: 9092
protocol: TCP
- name: kafka
port: 9092
targetPort: 9092
protocol: TCP
- name: redis
port: 6379
targetPort: 6379
protocol: TCP
- name: mysql
port: 3306
targetPort: 3306
protocol: TCP配置 istio
安装 ingressgateway
由于之前就有一个绑定内网 ELB 的 ingressgateway 了，需要再安装一个外网的 ingressgateway，这里是直接基于 istioctl manifest generate 生成文件安装。
绑定公网 ELB
istio 可以通过设置 ingressgateway 绑定 ELB，并设置对外暴露端口，这里以华为云为例：
apiVersion: v1
kind: Service
metadata:
annotations:
kubernetes.io/elb.class: union
kubernetes.io/elb.id: xxxxxx
kubernetes.io/elb.lb-algorithm: ROUND_ROBIN
kubernetes.io/elb.vpc.id: xxxxx
kubernetes.io/session-affinity-mode: SOURCE_IP
finalizers:
- service.kubernetes.io/load-balancer-cleanup
labels:
app: istio-ingressgateway-external
install.operator.istio.io/owning-resource: unknown
istio: ingressgateway-external
istio.io/rev: default
operator.istio.io/component: IngressGateways
release: istio
spec:
...
loadBalancerIP: xx.xx.xx.247 #这里要手动设置ip地址
ports:
- name: ssh
port: 22022
protocol: TCP
targetPort: 22022设置 istio 的 Gateway 和 virtualService
gateway 和 virtualService 会配置 ingress 转发规则。
设置 Gateway，因为走的是 tcp 协议这里设置：
apiVersion: networking.istio.io/v1beta1
kind: Gateway
metadata:
name: my-tls-gateway
spec:
selector:
istio: ingressgateway-external #这个selector要对应istio ingressgateway 的 label
servers:
- hosts:
- '*'
port:
name: ssh
number: 22022
protocol: TCP设置 virtualService 到目标地址：
apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
name: sshd-jumpserver
spec:
gateways:
- my-tls-gateway
hosts:
- xx.xx.xx.247
tcp:
- match:
- port: 22022
route:
- destination:
host: tools-sshd-jumpserver.rcmd.svc.cluster.local
port:
number: 22构建方向代理
ssh -R 做反向代理
ssh 提供了三种代理功能：
- 正向代理（-L）：相当于 iptable 的 port forwarding
- 反向代理（-R）：相当于 frp 或者 ngrok
- socks5 代理（-D）：相当于 ss/ssr
这里主要使用 ssh 提供的反向代理功能，也就是 ssh -R，用法：
ssh -R <登陆服务暴露的地址>:<登陆服务暴露的端口>:<目标地址>:<目标端口> <登陆用户名>@<ssh登陆服务> -p <ssh登陆端口>比如远程机器地址为 14.14.1.1，ssh登陆端口为 22，目标为局域网的一台redis机器，目标地址为 192.168.2.3，目标端口为 6379，登陆服务暴露全网段地址，也就是 0.0.0.0，暴露端口和目标端口保持一致，也是 6379，那么写作：
ssh -R 0.0.0.0:6379:192.168.2.3:6379 root@14.14.1.1 -p 22okay，基本命令确定后，可以将其封装进 Systemd 守护进程运行，编写systemd文件：
[Unit]
Description=Reverse ssh tunnel
After=network.target
[Service]
Restart=always
RestartSec=10
User=mpengine
ExecStart=/usr/bin/ssh -NT -o ServerAliveInterval=60 -R 0.0.0.0:9092:xx.xx.xx.xx:9092 -R 0.0.0.0:6379:xx.xx.xx.xx:6379 -R 0.0.0.0:3306:xx.xx.xx.xx:3306 root@14.14.1.1 -p 22
[Install]
WantedBy=multi-user.targetsystemctl 执行脚本：
$ cp kube-sshd.service /usr/lib/systemd/system/
$ ln -s /usr/lib/systemd/system/kube-sshd.service /etc/systemd/system/cloud-init.target.wants/kube-sshd.service
$ systemctl start kube-sshd.service测试
用集群内的 redis-cli 连接 sshd 服务进行测试:
okay，整个流程打通。
