Serveless架构的CICD探索

本文涉及的产品
简介: ——袁坤阿里云云原生前端技术专家Serverless Devs开发者工具PMC

一、背景介绍

image.png

前端应用生命周期分为开发、部署、运维以及监控四个阶段。

开发层面的工具有比如构建方面Webpack 代理方面Proxy以及mock工具。部署方面更多的是开源工具,比如 Github Actiontravis CISQL CI运维系统一般需自行搭建。监控方面的工具有比如阿里云的ARMS监控Sentry以及DataDog

前端主要偏向应用交互,对资源的探索相对较少

image.png

在一个现代化的GitOps前端应用平台中,CICD 架构的灵魂。 CICD 层面有很多方案,无论是开源还是商业化版本前端开发者的诉求大多可以总结为以下三个:

l  免运维:无需关心资源的预留或容量的规划,无需关注底座资源不足导致构建失败。

l  前端友好整体架构基于Javascript语言开发,轻量简单

l  被集成:前端团队往往有自己内部的开发运维平台希望平台能够很好进行二次封装,从而快速开发内部的前端 PaaS平台。

二、ServerlessFaaS)架构CICD的实践

image.png

CICD业务流程如下:在Github Repo发布一条 commit 代码,push之后执行installbuildtest以及depoly步骤,整个流程具有以下三个特点:

l  事件驱动:所有触发流程通过事件驱动。

l  长时间运行因为网络问题或每个任务的脚本不一,执行时间可长达数小时,运行时长不确定。

l  流量波峰波谷::一般夜里流量较低,上班时间会提交代码,存在流量高峰。

image.png

FC 异步函数具有以下几个特点:

l  免运维无需做容量规划以及资源调度,无需维护调度集群按调用次数收费如果没有产生调用则不收费

l  对比K8s它已经具备完整的可观测能力,而k8s可能需要安装可观测相关插件弹性方面FC的异步函数具有毫秒级别伸缩速度,而k8s为分钟级; FC 每秒能够处理数万条任务,而k8s仅数百条

l  高阶能力:包括任务去重任务流控(任务失败自动重试)以及任务执行结果回调(所有执行结果均可进行投递以供后续处理)

image.png

上图展示了简单的系统流程。开发者 push 一段代码到Git Repo,再由系统Webhook触发 FaaS 函数。FaaS函数会接收到一个traffic请求,traffic不一定是 webhook 可能是其他请求类型。Triggerworker两个函数很重要的特点为,其中所有业务逻辑或任务处理相关的逻辑都属于nodeJS 生态。

image.png

 一个通用的产品必须具有相关规范,这里的规范主要有Trigger规范和触发器规范。

Trigger规范分为三种类型

第一,事件类型事件类型包括很多事件,通过插件化的方式实现。所有都需要经过两个流程:

l  鉴权。并非所有人都可以调用HTTP接口因此需要有鉴权的逻辑

l  FilterGithub可能每天触发上千条 webhook请求,因此需要通过filter筛选感兴趣的 webhook

第二,手动触发。比如失败后需要手动触发,或者希望将整体的能力集成到自建系统,需要 RustAPI进行直接调用。

第三,定时触发。比如定时的巡检、定时端到端的测试。

image.png

Task 规范最大的优点在于自定义step,提供了shellnpm模块以及goggle/zx。其中goggle/zx指用Javascript书写脚本的能力

其次,支持模板语法。比如要判断当前步骤执行或暂停、当前的任务是否影响其他任务调用以上所有能力都基于 npm 包实现。  

image.png

事件到达后,Trigger函数会调用 npm trigger 里的一些能力。然后执行worker函数调用上面的 task 方法,同时会产生日志信息日志信息是 interface 接口,可以存储到 OSS NAS SLS最终实现 Consul 日志信息进行处理。

此处还有持久化的存储能力,Ots它是 Serverless DB按调用次数收费。

image.png

函数能力设计的核心。

Trigger函数是一个 API server ,也是一个暴露出来HTTP请求, controller 函数,负责控制整体的流程运转。它主要负责以下几项工作:

① 鉴权:负责权限的拦截。比如验证不通过则会提示失败可以在 WebHook 里面查看失败的 WebHook 信息。

② 流量过滤:比如只接收Push流量,将issue等流量过滤掉。

③ 网关能力做路由的分发。

同时Trigger是单实例多并发的函数。在一分钟内会触发成千上百请求如果每一个请求都拉齐函数实例,会造成极大的资源浪费。而单实例多并发则意味着一个 POD里可以处理个请求查看,能够极大地节省资源。此外,Trigger函数只做简单的鉴权以及流量过滤,不存在过多计算,也无需与数据库交互,因此非常轻量。

Worker 函数的特点需要长时间运行,因此需要支持比如暂停取消高阶能力,同时它还能实现流量的过滤。

函数的特性来,首先它是事件函数,即无法通过 HTTP 接口在外部调用它第二它是异步函数第三它是Custom Runtime函数,能够一键切换语言以及版本,无需多余的维护此外,Worker函数天然拥有镜像加速能力,保证了拉起速度。

image.png

核心的 Npm 组件有以下三个:

① Trigger:负责parse Trigger spec

② Engine:负责parse Task spec

③ Core提供了一系列方法,比如日志方法、解析yaml环境变量以及 secret 等能力。

三、总结展望

image.png

后续将实现Pipeline能力。比如多个task编排,其中编排能力包括串行执行和并行执行,串行执行和并行执行的特点为无法暂停。任务的暂停和恢复等能力需要通过第三方机制比如通过 Redis 消息队列或 MQ 消息队列来实现。同时还支持cache缓存来减少网络开销。

region部署切换的能力可以根据灵活的配置规则将worker函数切换到不同region,解决了国内访问GitHub时经常出现的网络不通导致任务失败的问题

日志支持几种存储方式

第一,基于文件存储 NAS方案。优点为能够展示实时日志能够不断实时追加,可以很好地支持实时滚动实时的刷新等场景。缺点为文件没有生命周期,需要新建辅助函数清理日志;此外,QPS 并发较高时,会存在写入性能瓶颈。

第二,基于日志系统SLS方案。SLS 和函数计算结合非常紧密,因此使用极其方便,支持 stdout中读取流日志日志也具备完整的生命周期。缺点价格比较昂贵。

第三,基于 OSS 对象存储方案。优点为价格便宜,使用简单,因为 OSS rest接口,具备完整的生命周期缺点为无法像文件一样进行追加,因此无法支持实时日志执行完task之后才能获取当前的完整日志。

Q&A

Q:通过CICD将前端代码部署到server,是否还需要后端?

A:需要。CICD整个系统的server部署在FC,因此肯定需要后端。此处可理解为前端完成了后端的工作。业务逻辑(应用)维护在各种仓库里,对yaml进行定义即可触发函数。

QDemo里存在版本之间的切换,从v1切换到v2再切换到v1。那么版本驻在哪里?

A:不存在版本的概念。所有版本都来自于 git ,可以回退到任何一个 commit,只有git commit 的概念

Q:开发了新特性,更新到git仓库。发现有bug需要回退,git仓库是否也需要回退?

AGit仓库不需要回退,git记录了所有历史行为,因此通过git fetch获取commit即可。另外,如果是生产流程,则建议通过tag部署,以避免部署状态与git仓库不一致。

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
Java 程序员
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
|
运维 Cloud Native 安全
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
|
4天前
|
敏捷开发 监控 数据管理
构建高效微服务架构的五大关键策略
【4月更文挑战第20天】在当今软件开发领域,微服务架构已经成为一种流行的设计模式,它允许开发团队以灵活、可扩展的方式构建应用程序。本文将探讨构建高效微服务架构的五大关键策略,包括服务划分、通信机制、数据管理、安全性考虑以及监控与日志。这些策略对于确保系统的可靠性、可维护性和性能至关重要。
|
17天前
|
API 数据库 开发者
构建高效可靠的微服务架构:后端开发的新范式
【4月更文挑战第8天】 随着现代软件开发的复杂性日益增加,传统的单体应用架构面临着可扩展性、维护性和敏捷性的挑战。为了解决这些问题,微服务架构应运而生,并迅速成为后端开发领域的一股清流。本文将深入探讨微服务架构的设计原则、实施策略及其带来的优势与挑战,为后端开发者提供一种全新视角,以实现更加灵活、高效和稳定的系统构建。
23 0
|
5天前
|
消息中间件 监控 持续交付
构建高效微服务架构:后端开发的进阶之路
【4月更文挑战第20天】 随着现代软件开发的复杂性日益增加,传统的单体应用已难以满足快速迭代和灵活部署的需求。微服务架构作为一种新兴的分布式系统设计方式,以其独立部署、易于扩展和维护的特点,成为解决这一问题的关键。本文将深入探讨微服务的核心概念、设计原则以及在后端开发实践中如何构建一个高效的微服务架构。我们将从服务划分、通信机制、数据一致性、服务发现与注册等方面入手,提供一系列实用的策略和建议,帮助开发者优化后端系统的性能和可维护性。
|
15天前
|
Kubernetes 安全 Java
构建高效微服务架构:从理论到实践
【4月更文挑战第9天】 在当今快速迭代与竞争激烈的软件市场中,微服务架构以其灵活性、可扩展性及容错性,成为众多企业转型的首选。本文将深入探讨如何从零开始构建一个高效的微服务系统,覆盖从概念理解、设计原则、技术选型到部署维护的各个阶段。通过实际案例分析与最佳实践分享,旨在为后端工程师提供一套全面的微服务构建指南,帮助读者在面对复杂系统设计时能够做出明智的决策,并提升系统的可靠性与维护效率。
|
26天前
|
存储 监控 Kubernetes
探索微服务架构下的系统监控策略
在当今软件开发领域,微服务架构因其灵活性、可扩展性和容错性而日益受到青睐。然而,这种架构的复杂性也为系统监控带来了新的挑战。本文旨在探讨在微服务环境下实现有效系统监控的策略,以及如何利用这些策略来确保系统的健壮性和性能。我们将从监控的关键指标入手,讨论分布式追踪的重要性,并分析不同的监控工具和技术如何协同工作以提供全面的系统视图。
|
2天前
|
监控 API 持续交付
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第23天】 随着现代软件开发实践的不断演进,微服务架构已经成为企业追求敏捷、可扩展和弹性解决方案的首选。本文深入探讨了如何构建一个高效的微服务架构,涵盖了关键的设计原则、技术选型以及实践建议。通过分析微服务的独立性、分布式特性和容错机制,我们将揭示如何利用容器化、服务网格和API网关等技术手段,来优化后端系统的可维护性和性能。文章旨在为后端开发人员提供一套全面的指南,以应对不断变化的业务需求和技术挑战。
|
7天前
|
机器学习/深度学习 运维 Prometheus
探索微服务架构下的系统监控策略
【4月更文挑战第18天】在当今快速迭代和持续部署盛行的软件工程实践中,微服务架构因其灵活性和可扩展性受到企业青睐。然而,随着服务的细粒度拆分和网络通信的增加,传统的监控手段已不再适用。本文将探讨在微服务环境中实施有效系统监控的策略,包括日志聚合、性能指标收集、分布式追踪以及异常检测等关键技术实践,旨在为读者提供构建稳定、可靠且易于维护的微服务系统的参考指南。
12 0
|
7天前
|
监控 持续交付 开发者
构建高效微服务架构:后端开发的新趋势
【4月更文挑战第18天】在数字化转型的浪潮中,微服务架构已成为企业提升系统灵活性、加速产品迭代的关键。此文深入探讨了构建高效微服务架构的实践方法,包括服务划分原则、容器化部署、持续集成/持续部署(CI/CD)流程以及监控与日志管理等关键技术点。通过分析具体案例,揭示了微服务在提高开发效率、降低维护成本及促进团队协作方面的显著优势。