从微服务视角理解Kubernetes

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 本文从微服务落地实践的视角,讨论了 Kubernetes 的一些重要概念,并且推荐了一款非常好用的 Kubernetes 管理界面。

从微服务视角看 Kubernetes

微服务

当我们谈论微服务的时候,总避免不了说 Spring Cloud / Dubbo,这些微服务架构的采用,确实达到了我们对他的期许:分布式、熔断/限流、高可用、可扩展、分离关注、链路追踪、小团队快速迭代。

然而,微服务架构的引入在解决单体应用的一些问题的同时,也给我们带来了新的复杂度:

  • 更多的技术组件
  • 更多的部署单元
  • 更复杂的部署脚本

作者在落地 Spring Cloud 微服务的过程中,设计了如下图所示的微服务参考架构:

image_20190731230110206

该图的左侧是 DevOps 平台,涵盖构建、测试、包管理、部署及运维、监控及评估。右侧是运行时平台,分成互联网层、展现层、微服务层、数据层。

运行时环境:

  • 展现层主要是前端项目(Vue、微信小程序等),通过服务网关的路由调用微服务层 SpringBoot 实现的各种业务接口;一个大型互联网产品中,需要多少个展现层的前端项目主要取决于两个因素:该产品有多少中类型的参与方、每一种参与方各有多少种渠道接入方式。例如,作为一个交易撮合平台,其需要的展现层项目如下列表所示:
参与方 渠道 展现层项目
散客 PC浏览器 官网
移动站 移动站
微信小程序 微信小程序
App APP
大客户 PC浏览器 VIP客户端
平台方 PC浏览器 运营工作台
供应商 微信小程序 接单工具
APP 接单APP

展现层项目由于参与方不同,账号体系也就不同,因此,鉴权授权的逻辑也有较大的差异,基于这样的考虑,我们为不同的展现层项目各自部署对应的接入网关 Spring Cloud Gateway。

  • 微服务层的项目包括 Spring Cloud Gateway 的主要组件,例如:服务注册 Eureka、服务网关 Spring Cloud Gateway、实现微服务的 Spring Boot项目,还有一些服务层用到的中间件(消息队列 Rabbit MQ、缓存服务 Redis等)

服务层里,项目数量最多的类型是实现微服务的 Spring Boot 项目。使用微服务架构,如何将单体应用的各个模块拆分成多个微服务单元,一直一个大家很关注却未能深入探讨的问题。作者设计过多个微服务系统的架构之后,认为,一个合理的服务拆分方式是以领域驱动设计的结果作为参考,可以将每一个领域的上下文边界对应为一个微服务单元。如此一来,在使用服务网关隔离的前后端分离的微服务架构中,前端微服务划的分重要依据是参与方类型 + 接入渠道,后端微服务划分的重要依据是领域设计的上下文边界。

作为一个完整的交易撮合平台,涉及到的业务领域较为庞大,涉及到数十个业务问题领域。合理拆分的微服务架构,可以使得企业对不同的问题领域分而治之。

DevOps平台

运行时环境采纳了微服务架构后,因为技术组件的多样性、业务领域的多样性,导致了微服务拆分之后,产生了数十个微服务可部署单元。这个情况给技术团队带来了前所未有的挑战:

  • 构建次数多,人工难以完成
  • 部署实例多,无法人工管理
  • 运行实例多,出了故障不好定位

在解决这些问题的过程中,最终摸索出了一套以 Kubernetes 为关键环节的微服务 DevOps 平台。

image_20190809173443557

如上图所示,假设有20+ 开发人员,

  • 每天提交100次代码,将每天产生100余次构建和自动测试,新增80-100个 docker 镜像
  • 每天更新开发环境、测试环境各一次,每次重新部署20+ 个 docker container
  • 每周更新 STAGING 环境 3-4次,每周更新 PRODUCTION 环境 1-2 次

在单体应用的时候,即使是手工打包也是能够完成每天发布新版本的要求的。但是在微服务环境下,这个工作就必须交给 DevOps 的 Pipe Line 来完成。

DevOps 在构建阶段的主角是 GitLab、npm、maven、docker、Harbor等工具集,在部署和运维环节的主角就是Kubernetes了。

微服务 + Kubernetes

最开始尝试容器化的时候,使用了 docker、docker-compose,但是docker-compose的编排能力有限,在考虑分布式方案时,从 docker swarm、kuberenetes 之中选择了 Kubernetes,然而,Kubernetes 相较于 docker-compose,有一个很高的学习门槛,集群的安装管理、YAML 文件的编写、多环境(开发环境、测试环境、准生产环境、生产环境)的配置、分布式环境下的问题诊断和性能优化等,一系列的问题需要解决,团队中也出现一些抵触情绪,对新事物持观望的态度。

Kubernetes在诸多大厂的成功实施,仍然让我们坚信这条道路的正确性。为了解决 Kubernetes 学习门槛高、YAML 文件编写复杂等一系列现实中的困难,我们研发了 Kuboard,一款 Kubernetes 的图形化管理控制工具。

Kuboard 诞生于 Spring Cloud 微服务落地的实践过程中,他在管理和使用 Kubernetes 的时候,也更多地是从微服务的视角来看待 Kubernetes。

具体体现在如下三个视角:

  • 集群概览
  • 名称空间
  • 工作负载

集群概览

从管理和部署微服务的视角来看,微服务应用是分布式应用,应该部署在一个分布式集群当中,这个集群由诸多计算资源和存储资源组成,微服务本身不应该关心最终使用了哪个计算节点,持久化存储被存放在什么位置;为了更好地利用资源,一个集群应该被划分成多个名称空间,每个名称空间内可以部署一整套微服务应用,名称空间之间不应相互干扰。

如下图所示:Kuboard 集群概览界面

image_20190723105809872

Kuboard 集群概览视角,映射了 Kubernetes 中的如下几个重要概念:

  • Cluster
  • Node
  • Storage Class / Persistent Volume
  • Namespace

名称空间

在集群概览界面中,点击一个名称空间,可以进入Kuboard名称空间界面。一个名称空间内部,是微服务部署相关的所有重要元素。与本文开头的微服务参考架构相匹配,Kuboard 认为,微服务的主要分层包括:

  • 展现层
  • 网关层
  • 服务层
  • 持久层
  • 中间件层
  • 监控层

如下图所示:Kuboard名称空间截图

image_20190721154650916

Kuboard 名称空间视角,映射了 Kubernetes 中的如下几个重要概念:

  • Workload(Deployment、StatefulSet、DaemonSet)
  • Service(微服务上方如果有浅蓝色长条块,说明该微服务有配置 Service)
  • Ingress(微服务上方如果有黑色短条块,说明该微服务有配置 Ingress)
  • Secrets(用来配置私有 docker 镜像仓库的用户名密码、HTTPS 的证书等信息,可在创建微服务 Workload 时引用)
  • ConfigMap(配置,用来存储配置信息,可定义微服务的公共环境变量,并在创建微服务 Workload 时引用)
  • Persistent Volume Claim(存储卷声明,用来声明存储卷,可在创建微服务 Workload 时引用)

Kuboard 名称空间界面中,还为典型的运维场景提供了便捷的操作入口,例如:

  • 创建工作负载(通过工作负载编辑器完成微服务应用的部署,而不是编写冗长的YAML文件,再使用复杂的 kubectl 命令)
  • 导出工作负载(选择名称空间中的微服务元素,导出到一个文件中)
  • 导入工作负载(将 Kuboard 导出的 YAML 文件导入到一个新的名称空间中,通过导出和导入的功能,用户可以快速的将开发环境复制成测试环境)
  • 容器组列表(查看当前名称空间中的容器组,可批量删除选中容器组,删除容器组后,Kubernetes将重新 Schedule一个容器组以替换被删除的容器组,此时将重新抓取镜像,此特性可用于测试环境中在 image tag 不改变的情况下的版本更新)
  • 调整镜像版本(修改容器镜像的标签,此特性用于在正式环境中进行版本更新的操作)
  • 高亮显示包含错误事件的微服务(如截图中红色的微服务 busybox)

工作负载

从名称空间界面中点击一个工作负载(微服务),可进入 Kuboard 工作负载编辑器界面。Kuboard 当前已经支持的工作负载 Workload 类型有:Deployment / StatefulSet / DaemonSet。

Kubernetes 中,与 Workload 相关的概念非常多,Kuboard 从微服务部署的实际需要出发,按照下图所示的方式理解这些相关概念:

image_20190731221630097

Kuboard 工作负载视图中,关联的 Kubernetes 中如下几个重要的概念:

  • Label / Label Selector
  • Workload Controller 工作负载控制器(Deployment / StatefulSet / DaemonSet)
  • Volume 数据卷
  • ImagePullSecrets (Docker 仓库用户名密码,用于访问私有 docker 镜像仓库)
  • ServiceAccount
  • Container 容器
  • Service 访问方式
  • Ingress 互联网入口

Kuboard 认为,掌握这些概念并正确理解这些概念的关系之后,就可以胜任使用 Kubernetes 部署微服务的工作,为了使事情变得更简单,避免编写冗长的 YAML 文件,Kuboard 以此概念为基础,设计了 Kuboard 工作负载编辑器,如下图所示:

image_20190722162249531

微服务 + 监控/评估

如何监控和评估微服务的运行状况,并根据监控结果进行问题的定位和诊断?基于 Kubernetes / Spring Cloud / Java 等,开源社区已经提供了非常丰富的监控组件,例如:

  • 资源层监控:Prometheus + Grafana + Node Exporter 等组件,监控Kubernetes 节点的 CPU、内存、网络、磁盘等使用情况
  • 中间件层监控:Prometheus + Grafana + MySQL Exporter + Nginx Exporter + JVM Exporter 等,监控 MySQL、Nginx、JVM 等中间件的使用情况
  • 链路/APM监控:Pinpoint / SkyWorking 等监控工具,监控应用程序的性能表现

各种监控系统各有侧重,如果想要取得比较好的监控效果,必须克服如下几个困难:

  • 搭建和配置监控系统
  • 定位和诊断问题时,在不同监控系统中来回切换,进入监控系统并寻找对应微服务的监控结果

Kuboard 认为,应该以微服务视角的视角快速查看到该无服务在不同层面的监控结果。因此,在 Kuboard 的工作负载(微服务)查看界面中,可以直接点击进入不同监控系统对应的监控结果,无需再监控系统内反复查找。如一下截图所示:

image_20190809220543742

点击图中 Nginx 监控容器组监控所在节点监控 等按钮,可以直接打开该容器组对应的监控界面。因为篇幅的限制,此处不再展开描述,请到 www.kuboard.cn Kuboard 官网 提供的在线Demo体验具体的监控效果。

总结

Kuboard 产生于 Spring Cloud 微服务落地的实践中,并在许多的实际项目中投入了使用,以微服务的视角理解和审视了 Kubernetes,并基于Kubernetes为用户提供了4个微服务视图:

  • 集群概览视图
  • 名称空间视图
  • 工作负载视图
  • 监控视图

目前 Kuboard 已经可以免费供大家使用,感性的朋友可访问 www.kuboard.cn 获得详细的信息。

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
目录
相关文章
|
14天前
|
Kubernetes 开发者 Docker
构建高效微服务架构:Docker与Kubernetes的协同应用
【5月更文挑战第30天】 在当今软件开发领域,微服务架构已成为实现系统模块化、提升可维护性及扩展性的关键策略。本文深入探讨了如何通过Docker容器化技术和Kubernetes集群管理,共同构建一个既高效又可靠的后端微服务环境。我们将剖析Docker和Kubernetes的核心功能,以及它们如何相辅相成,支撑起现代化的云原生应用程序部署和管理。文章还将提供具体实践案例,帮助开发者理解将理论应用于实际开发过程中的步骤和考虑因素。
|
15天前
|
Kubernetes 开发工具 Docker
微服务实践k8s与dapr开发部署实验(2)状态管理
微服务实践k8s与dapr开发部署实验(2)状态管理
36 3
微服务实践k8s与dapr开发部署实验(2)状态管理
|
13天前
|
Kubernetes 负载均衡 开发者
构建高效后端服务:从微服务到容器化部署
【5月更文挑战第31天】本文深入探讨了现代后端开发中的关键概念,包括微服务的架构设计、容器化技术的运用以及它们如何共同提升应用的可扩展性、可靠性和性能。通过具体案例分析,我们将揭示这些技术是如何在实际开发中被实施的,并讨论它们对后端开发流程的影响。
|
13天前
|
Kubernetes Cloud Native 开发者
构建高效云原生应用:Kubernetes与微服务架构的融合
【5月更文挑战第31天】 在数字化转型和技术迭代的大潮中,企业对于敏捷、可扩展的IT基础设施需求日益增长。云原生技术以其独特的优势成为推动这一进程的关键力量。本文深入探讨了如何通过结合Kubernetes容器编排和微服务架构来构建和维护高效、可靠的云原生应用。我们将剖析这种技术整合的必要性,揭示其背后的原理,并讨论在实际部署过程中可能遇到的挑战及解决方案。通过案例分析和最佳实践的分享,旨在为开发者和架构师提供一套行之有效的云原生应用构建指南。
|
16天前
|
Kubernetes Docker 微服务
微服务实践k8s&dapr开发部署实验(3)订阅发布
微服务实践k8s&dapr开发部署实验(3)订阅发布
29 0
|
16天前
|
Kubernetes Cloud Native PHP
构建高效云原生应用:基于Kubernetes的微服务治理实践深入理解PHP中的命名空间
【5月更文挑战第28天】 在当今数字化转型的浪潮中,云原生技术以其独特的弹性、可扩展性和敏捷性成为了企业IT架构的重要选择。本文深入探讨了如何在云平台之上,利用Kubernetes这一容器编排工具,实现微服务架构的有效治理。通过分析微服务设计原则与Kubernetes特性的融合,提出了一套系统的微服务部署、监控和管理策略。文章不仅阐述了关键技术点,还提供了具体实施步骤和最佳实践,以期帮助企业构建出既高效又稳定的云原生应用。 【5月更文挑战第28天】在PHP的编程世界中,命名空间是管理代码和避免名称冲突的强大工具。本文将探讨PHP命名空间的核心概念、实现方式及其在现代PHP开发中的应用。通过深
|
16天前
|
Kubernetes 持续交付 Docker
构建高效微服务架构:Docker与Kubernetes的完美结合
【5月更文挑战第28天】在现代软件开发中,微服务架构已成为提高系统可维护性和扩展性的关键。本文深入探讨了如何利用Docker容器化技术和Kubernetes集群管理工具共同打造一个高效、可靠的微服务环境。通过分析两者的核心优势及互补特性,我们展示了一种优化的部署策略,旨在帮助开发者和系统管理员理解和实践在复杂分布式系统中实现服务的有效管理和自动化部署。
|
27天前
|
Kubernetes 持续交付 Docker
构建高效微服务架构:Docker与Kubernetes的完美搭档
【5月更文挑战第17天】在当今云计算和微服务架构的大潮中,Docker容器化技术和Kubernetes容器编排系统成为了后端开发领域的热门技术栈。本文将探讨如何通过Docker和Kubernetes的结合使用来构建一个高效、可扩展且易于管理的微服务环境。我们将从基础概念出发,深入到实际操作层面,最后讨论这种组合对持续集成和持续部署(CI/CD)流程的影响,旨在为开发者和企业提供一种可靠的后端服务解决方案。
|
1天前
|
监控 数据管理 API
探索微服务架构中的后端设计最佳实践
在当今快速发展的技术世界中,微服务架构已经成为开发大型复杂系统的一种标准方法。本篇文章将深入探讨微服务架构在后端设计中的最佳实践,涵盖服务拆分、API设计、数据管理及监控和调试等方面,帮助开发者在实际项目中应用这些原则,以构建高性能、可扩展且易于维护的系统。
7 0
|
1天前
|
监控 负载均衡 持续交付
深入理解微服务架构及其在现代后端开发中的应用
本文将深入探讨微服务架构的核心概念、设计原则和实施挑战,并分析其在现代后端开发中的实际应用。通过比较传统单体应用与微服务的优劣,揭示微服务如何助力于系统的可扩展性、灵活性和持续部署。此外,文章还将讨论微服务实施过程中的常见问题及解决方案,为后端开发者提供实践指导。

推荐镜像

更多