起因
在很多业务场景里,是需要kubernetes里的Pod去调用某些公网上服务的(无论这些公网服务是自建的还是其它服务提供商的)。但是通常Pod都是通过主机上SNAT的方式做出口,这样容易被误认为是某种信息抓取程序或者是类似DDoS攻击,从而容易被封闭对应的主机IP。
另外有些服务只是对某种服务提供接入,需要设置白名单,但是kuberentes集群里又跑了多种服务,这些服务都是通过主机的SNAT出去,从而比较难限定对应的服务的白名单。如果将对应的服务固定在某几个worker节点上虽然也是一个办法,但是其灵活度以及容器弹性将收到一定的限制。
是否可以提供一个方式,让对应的服务的Pod根据需要来挂载自己独立的公网IP,从而避免上述问题呢?答案是可以的,这个就是我们kubernetes容器服务中特有的网络插件Terway
的一个很好的特性。
提前条件
通过阿里云kubernetes容器服务来构建集群,并且在高级选项中选择对应的网络插件为
Terway
构建集群时,worker的规格选择非共享型的ECS(这里需要注意的是,不同规格的ECS能支持的弹性网卡的个数是有限,具体限制可以咨询阿里云服务)
设置主机弹性网卡
创建弹性网卡
要使用Terway
的方式,必须先给对应的ECS挂载对应的弹性网卡。可以在ECS->网络与安全->弹性网卡
的页面中创建新的弹性网卡
这里必须选择和kubernetes集群相同的vpc, vswtich, 安全组。
这里其实还可以达到一个目的,就是给这个弹性网卡固定一个内网IP。
绑定弹性网卡ENI
创建成功后,可以在界面上绑定该网卡到对应的kuberentes的worker节点上。现在给ECS绑定弹性网卡已经可以动态加载了,无需重启机器。
重复上述两个步骤来给对应的worker节点挂载多个弹性网卡
给弹性网卡挂载公网IP
在ECS->>网络与安全->弹性公网IP
,创建EIP,然后挂载到对应的弹性网卡上。注意这里必须选择“普通模式”
创建Pod并使用对应的弹性网卡
如何判定这个Pod是通过弹性网卡还是通过主机的SNAT出去的呢?我们可以进入容器去访问外网,看看对应的IP是谁的IP就知道了。
#curl ifconfig.me
通过访问这个url,得到的返回信息就是出口的IP地址。从中可以知道我们是通过弹性网卡的EIP出去的
Pod是否可以直接对外提供服务呢?
Pod已经具备了公网IP,那么其是否可以直接提供对外服务呢?答案也是可以的。方法也很简单,具体如下。不过从安全以及维护性的考虑不建议这样做。以下只是一种验证网络互通性:
方案非常简单:给弹性网卡对应的安全组开放对应的端口,例如开放8000端口
然后我们进入容器,以python最简单的方式起个http服务来验证
python -m SimpleHTTPServer 8000
然后直接通过这个Pod挂载的弹性网卡的EIP来访问它就可
小结
从上述配置过程,可以提供了kubernetes集群的Pod挂载公网IP的可行的方式,从而拓展了kubernetes的应用场景。
后续我们将继续增强对于弹性网卡的控制,例如可以在Pod指定使用那块弹性网卡等,如果您对于这个还有任何需求以及好的建议,可以通过工单的形式反馈给我们容器团队