Serveless架构的CICD探索

本文涉及的产品
函数计算FC,每月15万CU 3个月
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
简介: ——袁坤阿里云云原生前端技术专家Serverless Devs开发者工具PMC

一、背景介绍

image.png

前端应用生命周期分为开发、部署、运维以及监控四个阶段。

开发层面的工具有比如构建方面Webpack 代理方面Proxy以及mock工具。部署方面更多的是开源工具,比如 Github Actiontravis CISQL CI运维系统一般需自行搭建。监控方面的工具有比如阿里云的ARMS监控Sentry以及DataDog

前端主要偏向应用交互,对资源的探索相对较少

image.png

在一个现代化的GitOps前端应用平台中,CICD 架构的灵魂。 CICD 层面有很多方案,无论是开源还是商业化版本前端开发者的诉求大多可以总结为以下三个:

l  免运维:无需关心资源的预留或容量的规划,无需关注底座资源不足导致构建失败。

l  前端友好整体架构基于Javascript语言开发,轻量简单

l  被集成:前端团队往往有自己内部的开发运维平台希望平台能够很好进行二次封装,从而快速开发内部的前端 PaaS平台。

二、ServerlessFaaS)架构CICD的实践

image.png

CICD业务流程如下:在Github Repo发布一条 commit 代码,push之后执行installbuildtest以及depoly步骤,整个流程具有以下三个特点:

l  事件驱动:所有触发流程通过事件驱动。

l  长时间运行因为网络问题或每个任务的脚本不一,执行时间可长达数小时,运行时长不确定。

l  流量波峰波谷::一般夜里流量较低,上班时间会提交代码,存在流量高峰。

image.png

FC 异步函数具有以下几个特点:

l  免运维无需做容量规划以及资源调度,无需维护调度集群按调用次数收费如果没有产生调用则不收费

l  对比K8s它已经具备完整的可观测能力,而k8s可能需要安装可观测相关插件弹性方面FC的异步函数具有毫秒级别伸缩速度,而k8s为分钟级; FC 每秒能够处理数万条任务,而k8s仅数百条

l  高阶能力:包括任务去重任务流控(任务失败自动重试)以及任务执行结果回调(所有执行结果均可进行投递以供后续处理)

image.png

上图展示了简单的系统流程。开发者 push 一段代码到Git Repo,再由系统Webhook触发 FaaS 函数。FaaS函数会接收到一个traffic请求,traffic不一定是 webhook 可能是其他请求类型。Triggerworker两个函数很重要的特点为,其中所有业务逻辑或任务处理相关的逻辑都属于nodeJS 生态。

image.png

 一个通用的产品必须具有相关规范,这里的规范主要有Trigger规范和触发器规范。

Trigger规范分为三种类型

第一,事件类型事件类型包括很多事件,通过插件化的方式实现。所有都需要经过两个流程:

l  鉴权。并非所有人都可以调用HTTP接口因此需要有鉴权的逻辑

l  FilterGithub可能每天触发上千条 webhook请求,因此需要通过filter筛选感兴趣的 webhook

第二,手动触发。比如失败后需要手动触发,或者希望将整体的能力集成到自建系统,需要 RustAPI进行直接调用。

第三,定时触发。比如定时的巡检、定时端到端的测试。

image.png

Task 规范最大的优点在于自定义step,提供了shellnpm模块以及goggle/zx。其中goggle/zx指用Javascript书写脚本的能力

其次,支持模板语法。比如要判断当前步骤执行或暂停、当前的任务是否影响其他任务调用以上所有能力都基于 npm 包实现。  

image.png

事件到达后,Trigger函数会调用 npm trigger 里的一些能力。然后执行worker函数调用上面的 task 方法,同时会产生日志信息日志信息是 interface 接口,可以存储到 OSS NAS SLS最终实现 Consul 日志信息进行处理。

此处还有持久化的存储能力,Ots它是 Serverless DB按调用次数收费。

image.png

函数能力设计的核心。

Trigger函数是一个 API server ,也是一个暴露出来HTTP请求, controller 函数,负责控制整体的流程运转。它主要负责以下几项工作:

① 鉴权:负责权限的拦截。比如验证不通过则会提示失败可以在 WebHook 里面查看失败的 WebHook 信息。

② 流量过滤:比如只接收Push流量,将issue等流量过滤掉。

③ 网关能力做路由的分发。

同时Trigger是单实例多并发的函数。在一分钟内会触发成千上百请求如果每一个请求都拉齐函数实例,会造成极大的资源浪费。而单实例多并发则意味着一个 POD里可以处理个请求查看,能够极大地节省资源。此外,Trigger函数只做简单的鉴权以及流量过滤,不存在过多计算,也无需与数据库交互,因此非常轻量。

Worker 函数的特点需要长时间运行,因此需要支持比如暂停取消高阶能力,同时它还能实现流量的过滤。

函数的特性来,首先它是事件函数,即无法通过 HTTP 接口在外部调用它第二它是异步函数第三它是Custom Runtime函数,能够一键切换语言以及版本,无需多余的维护此外,Worker函数天然拥有镜像加速能力,保证了拉起速度。

image.png

核心的 Npm 组件有以下三个:

① Trigger:负责parse Trigger spec

② Engine:负责parse Task spec

③ Core提供了一系列方法,比如日志方法、解析yaml环境变量以及 secret 等能力。

三、总结展望

image.png

后续将实现Pipeline能力。比如多个task编排,其中编排能力包括串行执行和并行执行,串行执行和并行执行的特点为无法暂停。任务的暂停和恢复等能力需要通过第三方机制比如通过 Redis 消息队列或 MQ 消息队列来实现。同时还支持cache缓存来减少网络开销。

region部署切换的能力可以根据灵活的配置规则将worker函数切换到不同region,解决了国内访问GitHub时经常出现的网络不通导致任务失败的问题

日志支持几种存储方式

第一,基于文件存储 NAS方案。优点为能够展示实时日志能够不断实时追加,可以很好地支持实时滚动实时的刷新等场景。缺点为文件没有生命周期,需要新建辅助函数清理日志;此外,QPS 并发较高时,会存在写入性能瓶颈。

第二,基于日志系统SLS方案。SLS 和函数计算结合非常紧密,因此使用极其方便,支持 stdout中读取流日志日志也具备完整的生命周期。缺点价格比较昂贵。

第三,基于 OSS 对象存储方案。优点为价格便宜,使用简单,因为 OSS rest接口,具备完整的生命周期缺点为无法像文件一样进行追加,因此无法支持实时日志执行完task之后才能获取当前的完整日志。

Q&A

Q:通过CICD将前端代码部署到server,是否还需要后端?

A:需要。CICD整个系统的server部署在FC,因此肯定需要后端。此处可理解为前端完成了后端的工作。业务逻辑(应用)维护在各种仓库里,对yaml进行定义即可触发函数。

QDemo里存在版本之间的切换,从v1切换到v2再切换到v1。那么版本驻在哪里?

A:不存在版本的概念。所有版本都来自于 git ,可以回退到任何一个 commit,只有git commit 的概念

Q:开发了新特性,更新到git仓库。发现有bug需要回退,git仓库是否也需要回退?

AGit仓库不需要回退,git记录了所有历史行为,因此通过git fetch获取commit即可。另外,如果是生产流程,则建议通过tag部署,以避免部署状态与git仓库不一致。

相关实践学习
通过Ingress进行灰度发布
本场景您将运行一个简单的应用,部署一个新的应用用于新的发布,并通过Ingress能力实现灰度发布。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
Java 程序员
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(下)
|
运维 Cloud Native 安全
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
Hello 大家好,我是阿粉,在了解什么是 Serveless 架构之前,我们先看下传统的项目发布和部署的流程是什么样子的。 物理机
作为 Java 开发程序员,你知道什么是 Serveless 架构吗?(上)
|
1月前
|
弹性计算 API 持续交付
后端服务架构的微服务化转型
本文旨在探讨后端服务从单体架构向微服务架构转型的过程,分析微服务架构的优势和面临的挑战。文章首先介绍单体架构的局限性,然后详细阐述微服务架构的核心概念及其在现代软件开发中的应用。通过对比两种架构,指出微服务化转型的必要性和实施策略。最后,讨论了微服务架构实施过程中可能遇到的问题及解决方案。
|
2月前
|
Cloud Native Devops 云计算
云计算的未来:云原生架构与微服务的革命####
【10月更文挑战第21天】 随着企业数字化转型的加速,云原生技术正迅速成为IT行业的新宠。本文深入探讨了云原生架构的核心理念、关键技术如容器化和微服务的优势,以及如何通过这些技术实现高效、灵活且可扩展的现代应用开发。我们将揭示云原生如何重塑软件开发流程,提升业务敏捷性,并探索其对企业IT架构的深远影响。 ####
69 3
|
2月前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####
|
1月前
|
Java 开发者 微服务
从单体到微服务:如何借助 Spring Cloud 实现架构转型
**Spring Cloud** 是一套基于 Spring 框架的**微服务架构解决方案**,它提供了一系列的工具和组件,帮助开发者快速构建分布式系统,尤其是微服务架构。
233 69
从单体到微服务:如何借助 Spring Cloud 实现架构转型
|
1月前
|
设计模式 负载均衡 监控
探索微服务架构下的API网关设计
在微服务的大潮中,API网关如同一座桥梁,连接着服务的提供者与消费者。本文将深入探讨API网关的核心功能、设计原则及实现策略,旨在为读者揭示如何构建一个高效、可靠的API网关。通过分析API网关在微服务架构中的作用和挑战,我们将了解到,一个优秀的API网关不仅要处理服务路由、负载均衡、认证授权等基础问题,还需考虑如何提升系统的可扩展性、安全性和可维护性。文章最后将提供实用的代码示例,帮助读者更好地理解和应用API网关的设计概念。
88 8
|
2月前
|
Dubbo Java 应用服务中间件
服务架构的演进:从单体到微服务的探索之旅
随着企业业务的不断拓展和复杂度的提升,对软件系统架构的要求也日益严苛。传统的架构模式在应对现代业务场景时逐渐暴露出诸多局限性,于是服务架构开启了持续演变之路。从单体架构的简易便捷,到分布式架构的模块化解耦,再到微服务架构的精细化管理,企业对技术的选择变得至关重要,尤其是 Spring Cloud 和 Dubbo 等微服务技术的对比和应用,直接影响着项目的成败。 本篇文章会从服务架构的演进开始分析,探索从单体项目到微服务项目的演变过程。然后也会对目前常见的微服务技术进行对比,找到目前市面上所常用的技术给大家进行讲解。
82 1
服务架构的演进:从单体到微服务的探索之旅
|
2月前
|
负载均衡 Java 持续交付
深入解析微服务架构中的服务发现与负载均衡
深入解析微服务架构中的服务发现与负载均衡
121 7
|
2月前
|
消息中间件 运维 Kubernetes
后端架构演进:从单体到微服务####
本文将探讨后端架构的演变过程,重点分析从传统的单体架构向现代微服务架构的转变。通过实际案例和理论解析,揭示这一转变背后的技术驱动力、挑战及最佳实践。文章还将讨论在采用微服务架构时需考虑的关键因素,包括服务划分、通信机制、数据管理以及部署策略,旨在为读者提供一个全面的架构转型视角。 ####
53 1