Serveless架构的CICD探索

本文涉及的产品
函数计算FC,每月15万CU 3个月
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: ——袁坤阿里云云原生前端技术专家Serverless Devs开发者工具PMC

一、背景介绍

image.png

前端应用生命周期分为开发、部署、运维以及监控四个阶段。

开发层面的工具有比如构建方面Webpack 代理方面Proxy以及mock工具。部署方面更多的是开源工具,比如 Github Actiontravis CISQL CI运维系统一般需自行搭建。监控方面的工具有比如阿里云的ARMS监控Sentry以及DataDog

前端主要偏向应用交互,对资源的探索相对较少

image.png

在一个现代化的GitOps前端应用平台中,CICD 架构的灵魂。 CICD 层面有很多方案,无论是开源还是商业化版本前端开发者的诉求大多可以总结为以下三个:

l  免运维:无需关心资源的预留或容量的规划,无需关注底座资源不足导致构建失败。

l  前端友好整体架构基于Javascript语言开发,轻量简单

l  被集成:前端团队往往有自己内部的开发运维平台希望平台能够很好进行二次封装,从而快速开发内部的前端 PaaS平台。

二、ServerlessFaaS)架构CICD的实践

image.png

CICD业务流程如下:在Github Repo发布一条 commit 代码,push之后执行installbuildtest以及depoly步骤,整个流程具有以下三个特点:

l  事件驱动:所有触发流程通过事件驱动。

l  长时间运行因为网络问题或每个任务的脚本不一,执行时间可长达数小时,运行时长不确定。

l  流量波峰波谷::一般夜里流量较低,上班时间会提交代码,存在流量高峰。

image.png

FC 异步函数具有以下几个特点:

l  免运维无需做容量规划以及资源调度,无需维护调度集群按调用次数收费如果没有产生调用则不收费

l  对比K8s它已经具备完整的可观测能力,而k8s可能需要安装可观测相关插件弹性方面FC的异步函数具有毫秒级别伸缩速度,而k8s为分钟级; FC 每秒能够处理数万条任务,而k8s仅数百条

l  高阶能力:包括任务去重任务流控(任务失败自动重试)以及任务执行结果回调(所有执行结果均可进行投递以供后续处理)

image.png

上图展示了简单的系统流程。开发者 push 一段代码到Git Repo,再由系统Webhook触发 FaaS 函数。FaaS函数会接收到一个traffic请求,traffic不一定是 webhook 可能是其他请求类型。Triggerworker两个函数很重要的特点为,其中所有业务逻辑或任务处理相关的逻辑都属于nodeJS 生态。

image.png

 一个通用的产品必须具有相关规范,这里的规范主要有Trigger规范和触发器规范。

Trigger规范分为三种类型

第一,事件类型事件类型包括很多事件,通过插件化的方式实现。所有都需要经过两个流程:

l  鉴权。并非所有人都可以调用HTTP接口因此需要有鉴权的逻辑

l  FilterGithub可能每天触发上千条 webhook请求,因此需要通过filter筛选感兴趣的 webhook

第二,手动触发。比如失败后需要手动触发,或者希望将整体的能力集成到自建系统,需要 RustAPI进行直接调用。

第三,定时触发。比如定时的巡检、定时端到端的测试。

image.png

Task 规范最大的优点在于自定义step,提供了shellnpm模块以及goggle/zx。其中goggle/zx指用Javascript书写脚本的能力

其次,支持模板语法。比如要判断当前步骤执行或暂停、当前的任务是否影响其他任务调用以上所有能力都基于 npm 包实现。  

image.png

事件到达后,Trigger函数会调用 npm trigger 里的一些能力。然后执行worker函数调用上面的 task 方法,同时会产生日志信息日志信息是 interface 接口,可以存储到 OSS NAS SLS最终实现 Consul 日志信息进行处理。

此处还有持久化的存储能力,Ots它是 Serverless DB按调用次数收费。

image.png

函数能力设计的核心。

Trigger函数是一个 API server ,也是一个暴露出来HTTP请求, controller 函数,负责控制整体的流程运转。它主要负责以下几项工作:

① 鉴权:负责权限的拦截。比如验证不通过则会提示失败可以在 WebHook 里面查看失败的 WebHook 信息。

② 流量过滤:比如只接收Push流量,将issue等流量过滤掉。

③ 网关能力做路由的分发。

同时Trigger是单实例多并发的函数。在一分钟内会触发成千上百请求如果每一个请求都拉齐函数实例,会造成极大的资源浪费。而单实例多并发则意味着一个 POD里可以处理个请求查看,能够极大地节省资源。此外,Trigger函数只做简单的鉴权以及流量过滤,不存在过多计算,也无需与数据库交互,因此非常轻量。

Worker 函数的特点需要长时间运行,因此需要支持比如暂停取消高阶能力,同时它还能实现流量的过滤。

函数的特性来,首先它是事件函数,即无法通过 HTTP 接口在外部调用它第二它是异步函数第三它是Custom Runtime函数,能够一键切换语言以及版本,无需多余的维护此外,Worker函数天然拥有镜像加速能力,保证了拉起速度。

image.png

核心的 Npm 组件有以下三个:

① Trigger:负责parse Trigger spec

② Engine:负责parse Task spec

③ Core提供了一系列方法,比如日志方法、解析yaml环境变量以及 secret 等能力。

三、总结展望

image.png

后续将实现Pipeline能力。比如多个task编排,其中编排能力包括串行执行和并行执行,串行执行和并行执行的特点为无法暂停。任务的暂停和恢复等能力需要通过第三方机制比如通过 Redis 消息队列或 MQ 消息队列来实现。同时还支持cache缓存来减少网络开销。

region部署切换的能力可以根据灵活的配置规则将worker函数切换到不同region,解决了国内访问GitHub时经常出现的网络不通导致任务失败的问题

日志支持几种存储方式

第一,基于文件存储 NAS方案。优点为能够展示实时日志能够不断实时追加,可以很好地支持实时滚动实时的刷新等场景。缺点为文件没有生命周期,需要新建辅助函数清理日志;此外,QPS 并发较高时,会存在写入性能瓶颈。

第二,基于日志系统SLS方案。SLS 和函数计算结合非常紧密,因此使用极其方便,支持 stdout中读取流日志日志也具备完整的生命周期。缺点价格比较昂贵。

第三,基于 OSS 对象存储方案。优点为价格便宜,使用简单,因为 OSS rest接口,具备完整的生命周期缺点为无法像文件一样进行追加,因此无法支持实时日志执行完task之后才能获取当前的完整日志。

Q&A

Q:通过CICD将前端代码部署到server,是否还需要后端?

A:需要。CICD整个系统的server部署在FC,因此肯定需要后端。此处可理解为前端完成了后端的工作。业务逻辑(应用)维护在各种仓库里,对yaml进行定义即可触发函数。

QDemo里存在版本之间的切换,从v1切换到v2再切换到v1。那么版本驻在哪里?

A:不存在版本的概念。所有版本都来自于 git ,可以回退到任何一个 commit,只有git commit 的概念

Q:开发了新特性,更新到git仓库。发现有bug需要回退,git仓库是否也需要回退?

AGit仓库不需要回退,git记录了所有历史行为,因此通过git fetch获取commit即可。另外,如果是生产流程,则建议通过tag部署,以避免部署状态与git仓库不一致。

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
Java 程序员
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
|
运维 Cloud Native 安全
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
|
13天前
|
缓存 负载均衡 JavaScript
探索微服务架构下的API网关模式
【10月更文挑战第37天】在微服务架构的海洋中,API网关犹如一座灯塔,指引着服务的航向。它不仅是客户端请求的集散地,更是后端微服务的守门人。本文将深入探讨API网关的设计哲学、核心功能以及它在微服务生态中扮演的角色,同时通过实际代码示例,揭示如何实现一个高效、可靠的API网关。
|
11天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
22天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
12天前
|
Dubbo Java 应用服务中间件
服务架构的演进:从单体到微服务的探索之旅
随着企业业务的不断拓展和复杂度的提升,对软件系统架构的要求也日益严苛。传统的架构模式在应对现代业务场景时逐渐暴露出诸多局限性,于是服务架构开启了持续演变之路。从单体架构的简易便捷,到分布式架构的模块化解耦,再到微服务架构的精细化管理,企业对技术的选择变得至关重要,尤其是 Spring Cloud 和 Dubbo 等微服务技术的对比和应用,直接影响着项目的成败。 本篇文章会从服务架构的演进开始分析,探索从单体项目到微服务项目的演变过程。然后也会对目前常见的微服务技术进行对比,找到目前市面上所常用的技术给大家进行讲解。
29 1
服务架构的演进:从单体到微服务的探索之旅
|
10天前
|
消息中间件 监控 安全
后端架构演进:从单体到微服务####
在数字化转型的浪潮中,企业应用的后端架构经历了从传统单体架构到现代微服务架构的深刻变革。本文探讨了这一演进过程的背景、驱动力、关键技术及面临的挑战,揭示了如何通过微服务化实现系统的高可用性、扩展性和敏捷开发,同时指出了转型过程中需克服的服务拆分、数据管理、通信机制等难题,为读者提供了一个全面理解后端架构演变路径的视角。 ####
27 8
|
11天前
|
Cloud Native 安全 API
云原生架构下的微服务治理策略与实践####
—透过云原生的棱镜,探索微服务架构下的挑战与应对之道 本文旨在探讨云原生环境下,微服务架构所面临的关键挑战及有效的治理策略。随着云计算技术的深入发展,越来越多的企业选择采用云原生架构来构建和部署其应用程序,以期获得更高的灵活性、可扩展性和效率。然而,微服务架构的复杂性也带来了服务发现、负载均衡、故障恢复等一系列治理难题。本文将深入分析这些问题,并提出一套基于云原生技术栈的微服务治理框架,包括服务网格的应用、API网关的集成、以及动态配置管理等关键方面,旨在为企业实现高效、稳定的微服务架构提供参考路径。 ####
37 5
|
13天前
|
监控 API 微服务
后端技术演进:从单体架构到微服务的转变
随着互联网应用的快速增长和用户需求的不断演化,传统单体架构已难以满足现代软件开发的需求。本文深入探讨了后端技术在面对复杂系统挑战时的演进路径,重点分析了从单体架构向微服务架构转变的过程、原因及优势。通过对比分析,揭示了微服务架构如何提高系统的可扩展性、灵活性和维护效率,同时指出了实施微服务时面临的挑战和最佳实践。
35 7
|
12天前
|
Kubernetes 负载均衡 Cloud Native
云原生架构下的微服务治理策略
随着云原生技术的不断成熟,微服务架构已成为现代应用开发的主流选择。本文探讨了在云原生环境下实施微服务治理的策略和方法,重点分析了服务发现、负载均衡、故障恢复和配置管理等关键技术点,以及如何利用Kubernetes等容器编排工具来优化微服务的部署和管理。文章旨在为开发者提供一套实用的微服务治理框架,帮助其在复杂的云环境中构建高效、可靠的分布式系统。
31 5

热门文章

最新文章

下一篇
无影云桌面