非容器应用与K8s工作负载的服务网格化实践-1 ASM-VM-PROXY的安装

ASM-VM-PROXY是连接ASM和VM的工具，运行在VM节点中，负责与ASM通信获取xDS信息、劫持非容器应用流量并执行网格化操作(比如上报链路追踪数据、请求安全认证等)。为了支持跨操作系统，以Docker Image的方式分发。

1 示例环境

为了演示跨操作系统的能力，本文使用三种最常见的Linux分发版本创建ECS实例。详情见下表。

2 安装Docker

为了启动ASM-VM-PROXY，以及本系列的非容器应用示例，我们需要安装docker。安装脚本示意如下。

alios (19.03.12)

yum install -y yum-utils
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
yum update && yum install -y docker-ce docker-ce-cli containerd.io
systemctl start docker
docker version

centos (19.03.12)

yum install -y https://download.docker.com/linux/fedora/30/x86_64/stable/Packages/containerd.io-1.2.6-3.3.fc30.x86_64.rpm
yum install -y yum-utils
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
yum update && yum install -y docker-ce docker-ce-cli containerd.io
systemctl start docker
docker version

ubuntu(19.03.8)

apt-get update && apt-get install -y docker.io
docker version

3 启动参数

填写如下变量，将文件保存到3个VM节点，路径为/opt/asm_vm_proxy/asm_vm_proxy.env。

ACCESS_KEY_ID=
ACCESS_KEY_SECRET=
REGION=
MESH_ID=
NS=
SA=
POD_NAME=

参数说明

• ACCESS_KEY_ID 阿里云账号ID
• ACCESS_KEY_SECRET 阿里云账号密码
• REGION 地域标识 请参考https://api.aliyun.com/?#/region
• MESH_ID ServiceMesh实例ID
• NS 虚机要加入的命名空间(Namespace)
• SA 虚机要使用的服务账号(ServiceAccount)
• POD_NAME 虚机要使用的POD级别的名称

用途声明

1. 获取用户的Kubernetes实例的Service CIDR，用于启动用于启动asm_vm_proxy
2. 获取用户的ServiceMesh实例istioD地址，用于启动asm_vm_proxy
3. 获取用户的ServiceMesh实例中间证书，并生成支持SPIFFE的VM侧证书，用于启动asm_vm_proxy和数据平面通信

4 镜像

ASM-VM-PROXY镜像的路径格式如下：

registry.{地域标识}.aliyuncs.com/acs/asm-vm-proxy:{版本标识}-aliyun

举例说明，地域名称为杭州、版本为v1.6.9的镜像路径为：registry.cn-hangzhou.aliyuncs.com/acs/asm-vm-proxy:v1.6.9-aliyun。

开放地域

ASM-VM-PROXY镜像开放了如下地域，请根据就近原则拉取镜像。

版本信息

ASM-VM-PROXY后续的版本升级将会与ASM管控面一致。如下图所示，请进入ASM实例页面，在基本信息中查看相关版本信息。

5 启动

启动脚本

docker run -d \
  --name=asm_vm_proxy \
  --network=host \
  --restart=always \
  --env-file /opt/asm_vm_proxy/asm_vm_proxy.env \
  --cap-add=NET_ADMIN \
  registry.cn-beijing.aliyuncs.com/asm_repo/asm_vm_proxy

检测

容器启动后，可以执行如下命令进行检测。

iptables -t nat -L -v |grep -A5 "Chain ISTIO_INBOUND"

Chain ISTIO_INBOUND (1 references)
 pkts bytes target     prot opt in     out     source               destination         
   28  1428 RETURN     tcp  --  any    any     anywhere             anywhere             tcp dpt:ssh
    0     0 RETURN     tcp  --  any    any     anywhere             anywhere             tcp dpt:15020
    5   300 ISTIO_IN_REDIRECT  tcp  --  any    any     anywhere             anywhere        

iptables -t nat -L -v |grep -A3 "Chain ISTIO_IN_REDIRECT"

Chain ISTIO_IN_REDIRECT (3 references)
 pkts bytes target     prot opt in     out     source               destination         
    6   360 REDIRECT   tcp  --  any    any     anywhere             anywhere             redir ports 15006

iptables -t nat -L -v |grep -A10 "Chain ISTIO_OUTPUT"

Chain ISTIO_OUTPUT (1 references)
 pkts bytes target     prot opt in     out     source               destination         
    0     0 RETURN     all  --  any    lo      127.0.0.6            anywhere            
    0     0 ISTIO_IN_REDIRECT  all  --  any    lo      anywhere            !localhost            owner UID match 1337
    7   420 RETURN     all  --  any    lo      anywhere             anywhere             ! owner UID match 1337
    0     0 RETURN     all  --  any    any     anywhere             anywhere             owner UID match 1337
    0     0 ISTIO_IN_REDIRECT  all  --  any    lo      anywhere            !localhost            owner GID match 1337
    0     0 RETURN     all  --  any    lo      anywhere             anywhere             ! owner GID match 1337
    0     0 RETURN     all  --  any    any     anywhere             anywhere             owner GID match 1337
    0     0 RETURN     all  --  any    any     anywhere             localhost           
    6   360 ISTIO_REDIRECT  all  --  any    any     anywhere             172.19.0.0/20     

这里的172.19.0.0/20是ASM-VM-PROXY中获取的用户Kubernetes实例的Service CIDR

诊断

如果启动出现问题，请使用如下命令查看容器启动和proxy运行的日志。

查看容器启动日志

docker logs asm_vm_proxy

查看proxy日志

docker exec -it asm_vm_proxy tail -n 100 /var/log/istio/istio.log

验证

ASM监控

ASM-VM-PROXY启动成功后，会与ASM通信，在ASM的管控台大盘页面可以看到我们示例的3个ECS节点。

6 链路追踪

如果我们希望采集ECS各节点的链路追踪数据，请配置zipkin的SLB域名到/etc/hosts。示意脚本如下。关于链路追踪的详情，请见本系列的最后一篇文章。

zipkin_clusterIp=$(k get svc zipkin-slb -n istio-system | grep zipkin | awk -F ' ' '{print $4}')
echo "$zipkin_clusterIp zipkin.istio-system" >dns_record

for vm in "${VMS[@]}"; do
  ssh root@"$vm" "sed -i '/zipkin.istio-system/d' /etc/hosts"
  ssh root@"$vm" "cat >> /etc/hosts" <dns_record
done