分析Netflix公司产品Spinnaker的微服务实践

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: Netflix 是业界微服务和 DevOps 组织的楷模,有大规模生产级微服务的成功实践。微服务有些公司甚至比 Netflix 做得更早,但 Netflix 大概是大规模生产级微服务做得最杰出的。

image.png

Netflix 是业界微服务和 DevOps 组织的楷模,有大规模生产级微服务的成功实践。微服务有些公司甚至比 Netflix 做得更早,但 Netflix 大概是大规模生产级微服务做得最杰出的。


Netflix在开源社区有着非常大的贡献,发布了很多开源工具去做部署、打包等各种功能。Spinnaker 是 Netflix的一个开源项目,来做混合云环境部署,能够实现跨云平台的部署任务的编排。

在 Netflix 使用 Spinnaker 每天发布 4000 次变更到亚马逊的机器上。谷歌云也在用 Spinnaker 去做部署。他们构建时也是用 Jenkins,其中有一个过程叫 bake,bake 是把应用打包成一个镜像,然后把这个镜像用 deploy 去做部署。Netflix 的 DevOps实践非常值得关注,他们也有很多项目和开源工具都值得一看。


本文主要分析Spinnaker其开发模式、持续集成、部署实践。

服务架构

Spinnaker 是由多个微服务组成的。Deck是前端页面;GateAPI网关Spinnaker UI和所有api调用程序都通过Gate与Spinnaker进行通信;Orca是编排引擎处理所有临时操作和管道;CloudDriver是负责对云提供商的所有变更调用,并索引/缓存所有已部署的资源;Front50用于保存应用程序,管道,项目和通知的元数据;Rosco生成镜像,它为各种云提供商生成不可变的VM映像;Igor用于通过Jenkins和Travis CI等系统中的持续集成作业来触发管道,并且它允许在管道中使用Jenkins / Travis阶段;Echo负责消息通知;Fiat负责用户权限管理;KayentaSpinnaker提供自动化的金丝雀分析;HalyardSpinnaker生命周期配置管理工具。

image.png



代码仓库管理

Spinnaker的微服务是每个微服务都创建一个代码库。大家可以访问Github上面spinnaker的仓库,里面每个微服务都有对应一个仓库管理代码。进入项目查看分支策略,主干分支开发,版本分支发布。

image.png



持续集成

使用的工具为GitHub Actions,这个ci文件中只有一个作业branch-build,主要是运行gradle构建。


image.png


.github/workflows/build.ymlCI文件内容如下:当master分支和version-*tag有提交时自动触发。通过env配置了gradle构建的参数。

name: Branch Build
on:
  push:
    branches:
    - master
    - version-*
env:
  GRADLE_OPTS: -Dorg.gradle.daemon=false -Xmx2g -Xms2g
jobs:
  branch-build:
    # Only run this on repositories in the 'spinnaker' org, not on forks.
    if: startsWith(github.repository, 'spinnaker/')
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v2
      # Install Java 8 for cross-compilation support. Setting it up before
      # Java 11 means it comes later in $PATH (because of how setup-java works)
      - uses: actions/setup-java@v1
        with:
          java-version: 8
      - uses: actions/setup-java@v1
        with:
          java-version: 11
      - uses: actions/cache@v1
        with:
          path: ~/.gradle
          key: ${{ runner.os }}-gradle-${{ hashFiles('**/*.gradle') }}
          restore-keys: |
            ${{ runner.os }}-gradle-
      - name: Build
        run: ./gradlew -PenableCrossCompilerPlugin=true build --stacktrace

应用部署

Spinnaker安装部署是一件令人头疼的事情,因为很多资源文件都是需要外面获取的。当我们把所需要的资源文件导入到国内后,其实就没有那么痛苦了。至少现在30分钟内部署一个spinnaker已经很现实了。(如果不算从阿里云镜像的pull时间,一个脚本5分钟内部署一个实例)

我们来看下这个版本文件,这里面记录了spinnaker产品所有的微服务版本信息。而halyard部署Spinnaker其实也是读取的这个文件,根据文件内容获取所需的资源。

version: 1.19.4
timestamp: '2020-04-03 08:01:05'
services:
  echo:
    version: 2.11.2-20200401121252
    commit: 5e2b673d1d658f88a3ae7741ab99cc0fd4a9df48
  clouddriver:
    version: 6.7.3-20200401190525
    commit: 77c774d185de42bb83dffde1f813f719f712994b
  deck:
    version: 3.0.2-20200324040016
    commit: 7c228ce82928f73a0f3051c4233242a6f87e0bec
  fiat:
    version: 1.10.1-20200401121252
    commit: aaebd07d8134d48630b056d6877a799a09ed282b
  front50:
    version: 0.22.1-20200401121252
    commit: ef1e7feff41797beb2d1695c1c3c0face550fe4b
  gate:
    version: 1.15.1-20200403040016
    commit: 365aa9fc5b1351207731c4445d7bbb79885d6da1
  igor:
    version: 1.9.2-20200401121252
    commit: 576235bcfce0c48bc139e9c94fe98b3467d3d170
  kayenta:
    version: 0.14.0-20200304112817
    commit: 85f590de74db46d54f016d88862418c990a17747
  orca:
    version: 2.13.2-20200401144746
    commit: 8460456e8380d370d1678b06acd015900a94f515
  rosco:
    version: 0.18.1-20200401121252
    commit: 9a20165e9c0d33e538d0038d5d02cb480e27f8c3
  defaultArtifact: {}
  monitoring-third-party:
    version: 0.16.2-20200228142642
    commit: 94c6e9cd3006347efe3101c0e6d8f98ce65f9053
  monitoring-daemon:
    version: 0.16.2-20200228142642
    commit: 94c6e9cd3006347efe3101c0e6d8f98ce65f9053
dependencies:
  redis:
    version: 2:2.8.4-2
  consul:
    version: 0.7.5
  vault:
    version: 0.7.0
artifactSources:
  debianRepository: https://dl.bintray.com/spinnaker-releases/debians
  dockerRegistry: gcr.io/spinnaker-marketplace
  googleImageProject: marketplace-spinnaker-release
  gitPrefix: https://github.com/spinnaker

这是一个Yaml格式的文件, 顶部的version指的是Spinnaker的版本号;services下面包含每个服务的信息(版本,提交)。dependencies是spinnaker部署时所需要的依赖服务。我们来分析下每个服务中的version字段的作用,这个字段的作用很大。通过此字段指定Docker镜像标签和服务分支中配置文件的获取。

echo:
    version: 2.11.2-20200401121252

echo是spinnaker其中的一个微服务,负责消息通知。halyard会读取version-2.11.2标签中halconfig目录下的echo.yml配置文件,会下载gcr.io/spinnaker-marketplace/echo:2.11.2-20200401121252镜像。其他服务以此类推。

最后,我们执行hal deploy apply一键部署发布Spinnaker。


对于微服务模式的项目,很多细节可以借鉴Spinnaker的模式。例如:我们也可以在gitlab仓库中创建一个对应版本号的yaml文件,里面包含当前版本中每个微服务的镜像标签。准备发布的时候在Jenkins上面选择版本分支,然后根据版本分支中的版本号读取gitlab仓库中对应版本的yaml文件,然后一键部署。当需要回滚的时候,输入上个版本号同样的过程进行回滚。

目录
相关文章
|
1月前
|
API 持续交付 开发者
后端开发中的微服务架构实践与挑战
在数字化时代,后端服务的构建和管理变得日益复杂。本文将深入探讨微服务架构在后端开发中的应用,分析其在提高系统可扩展性、灵活性和可维护性方面的优势,同时讨论实施微服务时面临的挑战,如服务拆分、数据一致性和部署复杂性等。通过实际案例分析,本文旨在为开发者提供微服务架构的实用见解和解决策略。
|
1月前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
13天前
|
监控 持续交付 API
深入理解微服务架构:从设计原则到实践应用
深入理解微服务架构:从设计原则到实践应用
|
19天前
|
Cloud Native 安全 API
云原生架构下的微服务治理策略与实践####
—透过云原生的棱镜,探索微服务架构下的挑战与应对之道 本文旨在探讨云原生环境下,微服务架构所面临的关键挑战及有效的治理策略。随着云计算技术的深入发展,越来越多的企业选择采用云原生架构来构建和部署其应用程序,以期获得更高的灵活性、可扩展性和效率。然而,微服务架构的复杂性也带来了服务发现、负载均衡、故障恢复等一系列治理难题。本文将深入分析这些问题,并提出一套基于云原生技术栈的微服务治理框架,包括服务网格的应用、API网关的集成、以及动态配置管理等关键方面,旨在为企业实现高效、稳定的微服务架构提供参考路径。 ####
42 5
|
23天前
|
监控 Go API
Go语言在微服务架构中的应用实践
在微服务架构的浪潮中,Go语言以其简洁、高效和并发处理能力脱颖而出,成为构建微服务的理想选择。本文将探讨Go语言在微服务架构中的应用实践,包括Go语言的特性如何适应微服务架构的需求,以及在实际开发中如何利用Go语言的特性来提高服务的性能和可维护性。我们将通过一个具体的案例分析,展示Go语言在微服务开发中的优势,并讨论在实际应用中可能遇到的挑战和解决方案。
|
18天前
|
Kubernetes API Docker
构建高效后端服务:微服务架构的深度实践与优化####
本文深入探讨了微服务架构在现代后端开发中的应用,通过剖析其核心概念、设计原则及实施策略,结合具体案例分析,展示了如何有效提升系统的可扩展性、可靠性和维护性。文章还详细阐述了微服务拆分的方法论、服务间通信的最佳实践、以及容器化与编排工具(如Docker和Kubernetes)的应用技巧,为读者提供了一份全面的微服务架构落地指南。 ####
|
21天前
|
负载均衡 监控 Cloud Native
云原生架构下的微服务治理策略与实践####
在数字化转型浪潮中,企业纷纷拥抱云计算,而云原生架构作为其核心技术支撑,正引领着一场深刻的技术变革。本文聚焦于云原生环境下微服务架构的治理策略与实践,探讨如何通过精细化的服务管理、动态的流量调度、高效的故障恢复机制以及持续的监控优化,构建弹性、可靠且易于维护的分布式系统。我们将深入剖析微服务治理的核心要素,结合具体案例,揭示其在提升系统稳定性、扩展性和敏捷性方面的关键作用,为读者提供一套切实可行的云原生微服务治理指南。 ####
|
22天前
|
Kubernetes Cloud Native Docker
云原生技术探索:容器化与微服务的实践之道
【10月更文挑战第36天】在云计算的浪潮中,云原生技术以其高效、灵活和可靠的特性成为企业数字化转型的重要推手。本文将深入探讨云原生的两大核心概念——容器化与微服务架构,并通过实际代码示例,揭示如何通过Docker和Kubernetes实现服务的快速部署和管理。我们将从基础概念入手,逐步引导读者理解并实践云原生技术,最终掌握如何构建和维护一个高效、可扩展的云原生应用。
|
23天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 10 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
24天前
|
监控 API 持续交付
后端开发中的微服务架构实践与挑战####
本文深入探讨了微服务架构在后端开发中的应用,分析了其优势、面临的挑战以及最佳实践策略。不同于传统的单体应用,微服务通过细粒度的服务划分促进了系统的可维护性、可扩展性和敏捷性。文章首先概述了微服务的核心概念及其与传统架构的区别,随后详细阐述了构建微服务时需考虑的关键技术要素,如服务发现、API网关、容器化部署及持续集成/持续部署(CI/CD)流程。此外,还讨论了微服务实施过程中常见的问题,如服务间通信复杂度增加、数据一致性保障等,并提供了相应的解决方案和优化建议。总之,本文旨在为开发者提供一份关于如何在现代后端系统中有效采用和优化微服务架构的实用指南。 ####