突发——K8s节点沦为矿工
9月8日,云安全中心接到一位客户的紧急求助,称其部署在公有云的K8s集群遭到入侵,在数分钟之内K8s节点全部沦陷,并被植入挖矿程序。阿里云云安全中心对该恶意进程进行了紧急处置和隔离,并结合K8s审计日志以及云安全中心主机侧日志还原入侵链路,深入分析了此次事件的原因。
云安全中心紧急防御截屏
排查——鉴权配置不当
阿里云安全专家从主机日志出发,找到了攻击者植入的恶意镜像、脚本,根据行为判定——这是一次非定向的蠕虫自动化入侵事件。随后通过对K8s审计日志的梳理找到了攻击者IP,并根据这些IP滤出全部日志还原了入侵链路。
**本次入侵事件由K8s API Server鉴权不当导致,攻击者通过匿名用户登录到cluster-admin组并对整个K8s集群下发挖矿程序。**
云服务商堵漏 vs 自建集群失守
K8s API Server的鉴权问题由来已久。默认情况下K8s API Server会开启两个端口:8080(Localhost Port)和 6443(Secure Port),其中8080端口为WEB UI Dashboard,无需认证,用于本地测试与监控;6443端口需要认证且有TLS保护,用于远程连接(如:通过kubectl管理集群)。
官方文档对两种API的描述如下:
随着K8s在云上的普及,针对8080端口的公网未授权访问利用数年间从未停止,云服务商提供的容器默认已不存在该问题,但用户基于服务器自建K8s集群如仍存在少量开放到公网并被蠕虫入侵的案例。
6443端口的利用要通过API Server的鉴权,直接访问会提示匿名用户鉴权失败:
这为自动化攻击提供了便利,黑客通过批量扫描开放在公网的6443端口,向存在鉴权问题的集群下发挖矿程序。在2019年我们监控到首次大规模针对6443端口的利用,如今针对6443鉴权问题的K8s蠕虫卷土重来,并带来了更为复杂、隐蔽的利用方式。
安全建议1- 自查
K8s API Server 6443鉴权问题需要关注,可以通过以下命令自查"system:anonymous"拥有的权限:
kubectl get clusterrolebindings -o yaml | grep system:anonymous
安全建议2- 规范化使用RBAC
正确使用RBAC策略绑定,不要改变或新增集群原生用户或组(system:开头)的权限绑定,也不要改变系统原生的集群角色(clusterrole)或角色(role)。
阿里云容器服务在控制台提供了可视化的授权管理页面,根据不同的应用场景提供了对应的预置集群角色模板,方便用户对指定子账号或RAM角色进行集群或namespace维度的权限绑定,同时支持用户自定义集群权限的控制台绑定,减少用户对RBAC的学习成本。详情参见:https://help.aliyun.com/document_detail/119596.html?spm=a2c4g.11186623.6.627.385a2b303VW0sP
安全建议3- 谨慎开启集群公网
尽量使用内网方式创建集群,减少apiserver暴露在公网上受到攻击的可能性。
安全建议4- K8s日志审计
K8s日志的安全审计除了攻击特征/威胁情报的黑名单匹配之外,还需对访问者建立行为链路的审计以覆盖匿名访问或凭证泄露后鉴权成功的攻击事件。
安全建议5-使用阿里云容器服务默认配置并开启威胁检测功能
阿里云容器服务默认不受此攻击影响,建议采用默认鉴权配置,并通过以下配置开启云安全中心K8s威胁检测功能,第一时间发现通过K8s API Server发起的入侵事件。
安全建议6- 使用PSP安全策略
PodSecurityPolicy(简称PSP)是Kubernetes中Pod部署时重要的安全校验手段,能够有效地约束应用运行时行为安全。当一个攻击者已经获取到集群的访问凭证时,有效的PSP策略配置和绑定可以通过阻止攻击者部署特权容器或挂载敏感目录等校验手段,有效阻止攻击者进行下一步入侵,详情参见:https://help.aliyun.com/document_detail/173620.html?spm=a2c4g.11186623.6.845.596116d7A2vLE6
安全建议7- 安全管理kubeconfig凭证
对于ACK容器服务标准版集群来说,kubeconfig是用户访问集群apiserver的唯一凭证,要严格控制拥有管理员权限的kubeconfig凭证的发放范围,对于可能泄露的凭证要及时吊销,吊销方法请参见: https://help.aliyun.com/document_detail/173620.html?spm=a2c4g.11186623.6.845.596116d7A2vLE6
安全建议7- 安全管理kubeconfig凭证
对于ACK容器服务标准版集群来说,kubeconfig是用户访问集群apiserver的唯一凭证,要严格控制拥有管理员权限的kubeconfig凭证的发放范围,对于可能泄露的凭证要及时吊销,吊销方法请参见: https://help.aliyun.com/document_detail/142602.html?spm=a2c4g.11186623.6.839.16d37f4bxIbUku