Serverless 实战 —— Funcraft + OSS + ROS 进行 CI/CD

本文涉及的产品
Serverless 应用引擎免费试用套餐包,4320000 CU,有效期3个月
函数计算FC,每月15万CU 3个月
简介: 前言 首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute):函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。

前言

首先介绍下在本文出现的几个比较重要的概念:

函数计算(Function Compute):函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。函数计算更多信息参考
Funcraft:Funcraft 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件(template.yml),协助您进行开发、构建、部署操作。Fun 的更多文档参考
OSS: 对象存储。海量、安全、低成本、高可靠的云存储服务,提供99.9999999999%的数据可靠性。使用RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩展,多种存储类型供选择全面优化存储成本。
ROS:资源编排(ROS)是一种简单易用的云计算资源管理和自动化运维服务。用户通过模板描述多个云计算资源的依赖关系、配置等,并自动完成所有资源的创建和配置,以达到自动化部署、运维等目的。编排模板同时也是一种标准化的资源和应用交付方式,并且可以随时编辑修改,使基础设施即代码(Infrastructure as Code)成为可能。
CI/CD: CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 的核心概念是持续集成、持续交付和持续部署。

目标

本文打算以一个简单的函数计算项目为例,在此基础上编写测试用例,进行配置,让其支持 CI/CD 工作流程。实现如下四个小目标:

  1. CI 被 git commit 提交触发
  2. 执行测试(单元、集成和端对端)
  3. 函数打包上传到 OSS
  4. 通过 ROS 部署函数到 Staging 环境

工作流程图

image.png

这里以大家熟悉的 Github 仓库为例,并结合 Travis CI 。当用户往示例项目 push 或者 PR(Pull Request)时,会自动触发 Travis CI 的工作任务,进行单元测试、构建打包和部署发布。

示例项目

示例项目地址为:https://github.com/vangie/tz-time , 该项目是基于 FC Http trigger 实现的简单 web 函数,访问放函数是会返回指定时区的当前时间。项目目录结构如下

tz-time
├── .funignore
├── .travis.yml
├── Makefile
├── bin
│   ├── delRosStack.sh
│   ├── deployE2EStack.sh
│   └── waitForServer.sh
├── deploy.log
├── index.e2e-test.js
├── index.integration-test.js
├── index.js
├── index.test.js
├── jest.config.e2e.js
├── jest.config.integration.js
├── package-lock.json
├── package.json
└── template.yml

部分文件作用介绍:

  • .funignore - Funcraft 部署时忽然的文件清单
  • .travis.yml - Travis CI 配置文件
  • index.js - 函数入口文件
  • *.test.js - 单元测试相关文件
  • *.integraion-test.js - 集成测试相关文件
  • *.e23-test.js - 端对端测试相关文件
  • template.yml - ROS 描述文件,用于描述函数和其他云服务

自动化测试

测试通常非常如下三类:单元测试、集成测试和 E2E 测试。在函数计算场景下,这三类测试可以通过如下方法实现。

  • 单元测试 - 使用 Mock 类测试函数,验证输入输出参数
  • 集成测试 - 使用 fun local invoke/start 模拟运行函数
  • E2E 测试 - 使用 fun deploy 部署一套 test 环境,然后通过 fun invoke 进行模拟调用或者通过 curl 直接发送

本例子只实现了单元测试,集成测试和 E2E 测试对于 travis 示例来说触发方法类似,实现方法可以参见上面的方法提示进行配置。

单元测试

FC 函数的单元测试和普通的函数并无二致。采用熟悉的单元测试框架即可,本例中使用了 jest 进行测试。下面看看一个测试用例的代码片段

jest.mock('moment-timezone');

const { tz } = require('moment-timezone');
const { handler } = require('./index');

const EXPECTED_DATE = '2018-10-01 00:00:00';
const TIMEZONE = 'America/New_York';

describe('when call handle', () => {
    it('Should return the expected date if the provied timezone exists', () => {
        const mockReq = {
            queries: {
                tz: TIMEZONE
            }
        }
        const mockResp = {
            setHeader: jest.fn(),
            send: jest.fn()
        }

        tz.names = () => [TIMEZONE];
        tz.mockImplementation(() => {
            return {
                format: () => EXPECTED_DATE 
            }
        })

        handler(mockReq, mockResp, null);

        expect(mockResp.setHeader.mock.calls.length).toBe(1);
        expect(mockResp.setHeader.mock.calls[0][0]).toBe('content-type');
        expect(mockResp.setHeader.mock.calls[0][1]).toBe('application/json');

        expect(mockResp.send.mock.calls.length).toBe(1);
        expect(mockResp.send.mock.calls[0][0]).toBe(JSON.stringify({
            statusCode: '200',
            message: `The time in ${TIMEZONE} is: ${EXPECTED_DATE}`
        }, null, '    '));

    });
});

通过 jest.mock 对 moment-timezone 进行 mock,让 tz 被调用的时候返回预先设定好的值,而不是一个动态变化的时间。

通常该类单元测试分为三步:

  1. mock 依赖的值或者参数
  2. 调用测试函数
  3. 断言返回结果和被调用的参数

如果依赖包不存在原生依赖(依赖 linux 下的可执行文件或者 so 库文件)的使用 npm test 触发测试即可,如果有原生依赖,那测试需要跑在 fun 提供的 sbox 模拟环境里,使用如下命令触发

fun install sbox -f tz-time --cmd 'npm install'

集成测试

本例子中的集成测试会借助 fun local start 命令把函数在本地启动起来,由于函数配置了 http trigger,所以可以通过 http 请求调用函数。

集成测试我们还是才是 jest 框架进行编写,为了区别于单元测试文件 *.test.js ,集成测试文件使用 .integration-test.js 文件后缀。为了让 jest 命令独立的跑集成测试用例而不是和单元测试混和在一起,需要编撰如下文件 jest.config.integration.js

module.exports = {
    testMatch: ["**/?(*.)integration-test.js"]
};

然后在 package.json 中配置 scripts

"scripts": {
    "integration:test": "jest -c jest.config.integration.js"
}

于是可以通过执行 npm run integration:test 来执行集成测试。

然后在此基础上在 Makefile 中添加 integration-test 目标:

funlocal.PID:
    fun local start & echo $$! > $@

integration-test: funlocal.PID 
    bin/waitForServer.sh http://localhost:8000/2016-08-15/proxy/tz-time/tz-time/
    npm run integration:test
    kill -2 `cat $<` && rm $<

integration-test 目标依赖 funlocal.PID 目标,后者负责启动一个 fun local 进程,该进程会在本地启动 8000 端口。解读一下上面的 Makefile 代码

  • fun local start & echo $$! > $@ 启动 fun local 进程,并将进程 PID 写入到目标同名文件 funlocal.PID
  • bin/waitForServer.sh http://localhost:8000/2016-08-15/proxy/tz-time/tz-time/ 通过一个 url 测试 fun local 进程是否启动完成。
  • kill -2 `cat $<` && rm $< 测试完成以后销毁 fun local 进程。

npm run integration:test 会启动若干的测试用例,其中一个测试用例如下:

const request = require('request');

const url = 'http://localhost:8000/2016-08-15/proxy/tz-time/tz-time/';

describe('request url', () => {
    it('without tz', (done) => {
        request(url, (error, response, data) => {
            if (error) {
                fail(error);
            } else {
                const resData = JSON.parse(data);
                expect(resData.statusCode).toBe(200);
                expect(resData.message).toContain('Asia/Shanghai');
            }
            done();
        });
    });
});

端对端测试

端对端测试和集成测试的测试用例非常的类似,区别在于测试的服务端,端对端测试部署一套真实的环境,集成测试通过 fun local 本地模拟。

本例中借助 fun deploy --use-ros 部署一套环境,环境名称为 tz-e2e- 前缀带上时间戳,这样每次测试都会部署一套新的环境,不同环境之间相互不会影响。测试完成再通过 aliyun-cli 工具把 ROS 的 stack 删除即可。

下面端对端测试的 Makefile 目标:

stack_name := tz-e2e-$(shell date +%s)

e2e-test: 
    # deploy e2e 
    bin/deployE2EStack.sh $(stack_name)
    # run test
    npm run e2e:test
    # cleanup
    bin/delRosStack.sh $(stack_name)
  • bin/deployE2EStack.sh $(stack_name) 负责部署一个新的 ROS stack。部署之前需要使用 fun package 构建交付物,具体如何构建交付物可以参考下一小节。
  • npm run e2e:test 运行端对端测试
  • bin/delRosStack.sh $(stack_name) 测试完成之后,清理部署的 ROS stack,会释放掉响应的云资源。

构建交付物

fun package 命令可被用于构建交付物,fun package 需要指定一个 OSS 的 bucket。fun package 命令会完成如下步骤:

  1. 将代码编译打包成 Zip 文件。
  2. 上传代码包到 OSS bucket。
  3. 生成新的文件 template.packaged.yml,其中代码本地地址改为 OSS bucket 地址。

生成的 template.packaged.yml 文件就是最终交付物,可以通过 fun deploy 命名进行部署。

持续部署

当构建环节生成了交付物以后,就可以通过 fun deploy 进行部署了。持续部署需要解决如下两个问题:

  1. 支持全新部署和升级部署
  2. 一套资源描述支持部署多套,比如 test 环境、staging 环境和 production 环境。

fun deploy 借助于 ROS,可以轻松的解决上述问题。

fun deploy --use-ros --stack-name tz-staging --assume-yes

其中:

  • --use-ros 表示借助于 ROS 进行部署,其工作机制是将 template.yml 推送到 ROS 服务,由 ROS 服务执行每个服务的新建和更新操作。如果没有该参数,fun 就会在本地解析 template.yml,调用 API 进行资源创建。ROS 有个额外的好处是可以进行部署的回滚,失败的时候能自动进行回滚。
  • --stack-name 指定一个 stack 的名称,stack 是 ROS 的概念,可以理解为一套环境。
  • --assume-yes 用于无人值守模式,跳过确认提示。

注意,此处如果不指定参数 --use-ros ,fun deploy 会采用直接调用云资源 API 进行部署, 这是 fun deploy 的默认部署方式,虽然也基本实现了幂等部署,但是仅支持部署有限的云资源(FC、OTS、API Gateway等),远不及 ROS 丰富,而且也没法做到 ROS 已支持的回滚和一键删除,所以此处不推荐。

小结

上面所有步骤的脚本化配置可以参考 Makefile 和 .travis.yml 文件。通过上述两个文件可以实现 Github 和 Travis CI 的联动,实现基于代码提交触发的 CI/CD。

本文讲述了 FC 函数

  1. 如何进行测试,特别是单元测试的自动化
  2. 如何构建交付物,通过 fun package 将代码文件上传到 OSS Bucket,让交付物编程一个文本描述文件 template.packaged.yml
  3. 如何持续部署,借助于 ROS 部署多套环境,多次更新同一套环境。

参考阅读

  1. 源码示例项目 tz-time
  2. 开发函数计算的正确姿势 —— 使用 ROS 进行资源编排
  3. Funcraft
  4. Aliyun Serverless VSCode Extension
相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
相关文章
|
3月前
|
存储 前端开发 Serverless
Serverless 魔法之旅:如何用 Funcraft、OSS 和 ROS 打造超级CI/CD流水线!
【8月更文挑战第8天】在现代软件开发中,CI/CD对于提升效率与代码质量至关重要。本文介绍如何运用阿里云的Serverless服务——Funcraft、OSS及ROS构建完整的CI/CD流程。首先配置Funcraft实现代码自动化构建与部署;接着利用OSS管理静态文件,确保网站内容正确加载;最后借助ROS自动化资源创建与管理,实现代码自动部署。通过整合这些服务,不仅加速了开发进程,还保证了代码质量和部署一致性,充分发挥Serverless架构的优势。
61 5
|
运维 监控 安全
Serverless CI/CD实践案例
CI/CD 是一种通过在应用开发阶段引入自动化来频繁向客户交付应用的方法。CI/CD 的核心概念是持续集成、持续交付和持续部署。作为一个面向开发和运营团队的解决方案,CI/CD 主要针对在集成新代码时所引发的问题。具体而言,CI/CD 可让持续自动化和持续监控贯穿于应用的整个生命周期(从集成和测试阶段,到交付和部署)。这些关联的事务通常被统称为“CI/CD 管道”,由开发和运维团队以敏捷方式协同支持。
238 0
|
存储 运维 前端开发
Serverless Devs 重大更新,基于 Serverless 架构的 CI/CD 框架:Serverless-cd
近日,Serverless 开发者平台 Serverless Devs 重磅发布基于 Serverless 架构的轻量级 CI/CD 框架——Serverless-cd。Serverless-cd 是一款运行在 Serverless 架构上的功能强大而灵活,安全,低成本的CI/CD开源框架。
Serverless Devs 重大更新,基于 Serverless 架构的 CI/CD 框架:Serverless-cd
|
存储 运维 安全
基于 Serverless 架构的 CI/CD 框架:Serverless-cd
近日,Serverless 开发者平台 Serverless Devs 重磅发布基于 Serverless 架构的轻量级 CI/CD 框架——**Serverless-cd**。Serverless-cd 是一款运行在 Serverless 架构上的功能强大而灵活,安全,低成本的CI/CD开源框架。该框架基于 Serverless Devs 开发者工具打造,通过 Serverless-cd开发者可
535 0
基于 Serverless 架构的 CI/CD 框架:Serverless-cd
|
运维 监控 安全
【音频】Serverless Devs与CI/CD实战|学习笔记
快速学习【音频】Serverless Devs与CI/CD实战。
|
2月前
|
人工智能 自然语言处理 Serverless
阿里云函数计算 x NVIDIA 加速企业 AI 应用落地
阿里云函数计算与 NVIDIA TensorRT/TensorRT-LLM 展开合作,通过结合阿里云的无缝计算体验和 NVIDIA 的高性能推理库,开发者能够以更低的成本、更高的效率完成复杂的 AI 任务,加速技术落地和应用创新。
152 13
|
3月前
|
Serverless API 异构计算
函数计算产品使用问题之修改SD模版应用的运行环境
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
3月前
|
运维 Serverless 网络安全
函数计算产品使用问题之通过仓库导入应用时无法配置域名外网访问,该如何排查
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
17天前
|
运维 Serverless 数据处理
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
Serverless架构通过提供更快的研发交付速度、降低成本、简化运维、优化资源利用、提供自动扩展能力、支持实时数据处理和快速原型开发等优势,为图像处理等计算密集型应用提供了一个高效、灵活且成本效益高的解决方案。
53 1
|
21天前
|
运维 监控 Serverless
Serverless架构在图像处理等计算密集型应用中展现了显著的优势
Serverless架构在图像处理等计算密集型应用中展现了显著的优势
30 1

热门文章

最新文章

相关产品

  • 函数计算
  • 推荐镜像

    更多