Kubernetes 多租户实践

简介: Kubernetes 多租户实践

由于 namespace 本身的限制,Kubernetes 对多租户的支持面临很多困难,本文梳理了 K8S 多租户支持的难点以及可能的解决方案。原文: Multi-tenancy in Kubernetes



是否应该让多个团队使用同一个 Kubernetes 集群?


是否能让不受信任的用户安全的运行不受信任的工作负载?


Kubernetes 支持多租户吗?


本文将探讨支持多租户的集群所面临的挑战。


多租户可以分为:


  1. 软多租户(Soft multi-tenancy) 适用于租户是可信任的情况,例如同一公司的团队共享集群时。
  2. 硬多租户(Hard multi-tenancy) 适用于租户不可信的情况。


实践中也可能是混合模式!



在租户之间共享集群的基本构建块是命名空间(namespace)。


名称空间对资源进行逻辑分组 —— 不提供任何安全机制,也不能保证所有资源都部署在同一节点中。



命名空间中的 pod 仍然可以与集群中的所有其他 pod 通信,向 API 发出请求,并使用尽可能多的资源。


开箱即用,任何用户都可以访问任何命名空间。


如何阻止访问呢?*


通过RBAC,可以限制用户和应用程序可以使用的命名空间或在命名空间内做什么。


常见操作是向有限的用户授予权限。



使用QuotaLimitRanges,可以限制在命名空间中部署的资源以及可用的内存、CPU 等。


如果想限制租户对其命名空间的操作,这是个好主意。



默认情况下,所有 pod 都可以与 Kubernetes 中的任何 pod 通信。


但这并不适用于多租户,可以用NetworkPolicies来纠正这个问题。


NetworkPolicies 类似于防火墙规则,可以隔离出站和入站流量。



很好,命名空间现在安全了吗?


别急。


基于 RBAC、NetworkPolicies、Quota 等作为多租户的基本构建块还是不够。


Kubernetes 还有几个共享组件。


Ingress 控制器就是一个很好的例子,通常在每个集群中只会部署一个。


如果提交具有相同路径的 Ingress 清单,最后一个会覆盖之前的定义,并且只有这一个才会生效。



更好的方法是为每个命名空间部署一个控制器。


另一个有趣的挑战是 CoreDNS。


如果某个租户滥用 DNS 怎么办?


集群的其余部分也将受到影响。


可以用一个额外的插件[https://github.com/coredns/policy](CoreDNS external plugin)来限制请求。



Kubernetes API 服务器也面临同样的挑战。


Kubernetes 不知道租户,如果 API 接收到太多请求,将会触发全局流控。


我不知道是否有解决办法!



如果进一步考虑共享资源,那么 kubelet 和工作负载也存在挑战。


正如Philippe Bogaerts提到的,租户可以通过 liveness 探针接管集群中的节点。


这也不容易解决。



可以将扫描器(linter)作为 CI/CD 的一部分,或者用准入控制器(admission controller)来验证提交给集群的资源是否安全。


这里是Open Policy Agent的库和规则。



还有隔离机制比虚拟机更弱的容器。


Lewis Denham-Parry在这段视频中展示了如何从容器中逃逸。


如何解决这个问题?


可以用gVisor这样的容器沙箱,或者用轻型虚拟机作为容器(Kata Containerfirecracker-containerd)或完整的虚拟机(virtlet作为CRI)。



希望你已经意识到这个主题的复杂性,以及在 Kubernetes 中为隔离网络、工作负载和控制器提供严格的边界是多么困难。


这就是为什么不建议在Kubernetes中提供硬多租户的原因。


如果需要硬多租户,建议使用多集群或集群即服务(Cluster-as-a-Service)工具。



如果可以容忍较弱的多租户模型,以换取简单性和便利性,那么可以推出 RBAC、Quota 等规则。


还有一些工具可以把这些问题抽象出来:



最后,如果对这个话题感兴趣,可以进一步参考以下资源:





你好,我是俞凡,在 Motorola 做过研发,现在在 Mavenir 做技术工作,对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI 等技术始终保持着浓厚的兴趣,平时喜欢阅读、思考,相信持续学习、终身成长,欢迎一起交流学习。为了方便大家以后能第一时间看到文章,请朋友们关注公众号"DeepNoMind",并设个星标吧,如果能一键三连(转发、点赞、在看),则能给我带来更多的支持和动力,激励我持续写下去,和大家共同成长进步!

相关实践学习
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
11月前
|
Kubernetes Cloud Native Docker
云原生时代的容器化实践:Docker和Kubernetes入门
【10月更文挑战第37天】在数字化转型的浪潮中,云原生技术成为企业提升敏捷性和效率的关键。本篇文章将引导读者了解如何利用Docker进行容器化打包及部署,以及Kubernetes集群管理的基础操作,帮助初学者快速入门云原生的世界。通过实际案例分析,我们将深入探讨这些技术在现代IT架构中的应用与影响。
443 2
|
6月前
|
存储 负载均衡 测试技术
ACK Gateway with Inference Extension:优化多机分布式大模型推理服务实践
本文介绍了如何利用阿里云容器服务ACK推出的ACK Gateway with Inference Extension组件,在Kubernetes环境中为多机分布式部署的LLM推理服务提供智能路由和负载均衡能力。文章以部署和优化QwQ-32B模型为例,详细展示了从环境准备到性能测试的完整实践过程。
|
7月前
|
存储 人工智能 Kubernetes
ACK Gateway with AI Extension:面向Kubernetes大模型推理的智能路由实践
本文介绍了如何利用阿里云容器服务ACK推出的ACK Gateway with AI Extension组件,在Kubernetes环境中为大语言模型(LLM)推理服务提供智能路由和负载均衡能力。文章以部署和优化QwQ-32B模型为例,详细展示了从环境准备到性能测试的完整实践过程。
|
7月前
|
存储 人工智能 物联网
ACK Gateway with AI Extension:大模型推理的模型灰度实践
本文介绍了如何使用 ACK Gateway with AI Extension 组件在云原生环境中实现大语言模型(LLM)推理服务的灰度发布和流量分发。该组件专为 LLM 推理场景设计,支持四层/七层流量路由,并提供基于模型服务器负载感知的智能负载均衡能力。通过自定义资源(CRD),如 InferencePool 和 InferenceModel,可以灵活配置推理服务的流量策略,包括模型灰度发布和流量镜像。
|
11月前
|
Kubernetes 持续交付 开发者
探索并实践Kubernetes集群管理与自动化部署
探索并实践Kubernetes集群管理与自动化部署
386 93
|
8月前
|
Kubernetes 监控 Serverless
基于阿里云Serverless Kubernetes(ASK)的无服务器架构设计与实践
无服务器架构(Serverless Architecture)在云原生技术中备受关注,开发者只需专注于业务逻辑,无需管理服务器。阿里云Serverless Kubernetes(ASK)是基于Kubernetes的托管服务,提供极致弹性和按需付费能力。本文深入探讨如何使用ASK设计和实现无服务器架构,涵盖事件驱动、自动扩展、无状态设计、监控与日志及成本优化等方面,并通过图片处理服务案例展示具体实践,帮助构建高效可靠的无服务器应用。
|
8月前
|
监控 Kubernetes Cloud Native
基于阿里云容器服务Kubernetes版(ACK)的微服务架构设计与实践
本文介绍了如何基于阿里云容器服务Kubernetes版(ACK)设计和实现微服务架构。首先概述了微服务架构的优势与挑战,如模块化、可扩展性及技术多样性。接着详细描述了ACK的核心功能,包括集群管理、应用管理、网络与安全、监控与日志等。在设计基于ACK的微服务架构时,需考虑服务拆分、通信、发现与负载均衡、配置管理、监控与日志以及CI/CD等方面。通过一个电商应用案例,展示了用户服务、商品服务、订单服务和支付服务的具体部署步骤。最后总结了ACK为微服务架构提供的强大支持,帮助应对各种挑战,构建高效可靠的云原生应用。
|
8月前
|
监控 Cloud Native Java
基于阿里云容器服务(ACK)的微服务架构设计与实践
本文介绍如何利用阿里云容器服务Kubernetes版(ACK)构建高可用、可扩展的微服务架构。通过电商平台案例,展示基于Java(Spring Boot)、Docker、Nacos等技术的开发、容器化、部署流程,涵盖服务注册、API网关、监控日志及性能优化实践,帮助企业实现云原生转型。
|
10月前
|
人工智能 运维 监控
阿里云ACK容器服务生产级可观测体系建设实践
本文整理自2024云栖大会冯诗淳(花名:行疾)的演讲,介绍了阿里云容器服务团队在生产级可观测体系建设方面的实践。冯诗淳详细阐述了容器化架构带来的挑战及解决方案,强调了可观测性对于构建稳健运维体系的重要性。文中提到,阿里云作为亚洲唯一蝉联全球领导者的容器管理平台,其可观测能力在多项关键评测中表现优异,支持AI、容器网络、存储等多个场景的高级容器可观测能力。此外,还介绍了阿里云容器服务在多云管理、成本优化等方面的最新进展,以及即将推出的ACK AI助手2.0,旨在通过智能引擎和专家诊断经验,简化异常数据查找,缩短故障响应时间。
阿里云ACK容器服务生产级可观测体系建设实践
|
10月前
|
运维 Kubernetes 调度
阿里云容器服务 ACK One 分布式云容器企业落地实践
阿里云容器服务ACK提供强大的产品能力,支持弹性、调度、可观测、成本治理和安全合规。针对拥有IDC或三方资源的企业,ACK One分布式云容器平台能够有效解决资源管理、多云多集群管理及边缘计算等挑战,实现云上云下统一管理,提升业务效率与稳定性。

热门文章

最新文章

推荐镜像

更多