Flutter+FaaS一体化任务编排的思考与设计

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 闲鱼flutter faas一体化提升研发体验+研发质量

作者:闲鱼技术-古风

Flutter+Serverless三端一体研发架构,客户端不仅仅是编写双端的代码,而是扩展了客户端的工作边界,形成完整的业务闭环。在新的研发模式落地与实践的过程中,一直在思考如何提高FaaS端研发体验与研发质量,以下是落地过程中遇到的问题。

  • 如何提高FaaS研发体验?
    FaaS层通常是直接在主干中逐块增加业务代码,这种写法领域数据间的依赖并不清晰,后续维护时需要针对领域数据进行更换、顺序调整或者由串行改并行时需要增加很多工作。
  • 如何提高FaaS侧研发质量?
    客户端同学编写FaaS代码时,需要针对服务端各种异常增加保护性代码与降级策略,比较容易出现遗漏从而导致整体质量下降。

任务编排是什么?

回顾一个完整的业务闭环,包括中台、领域层、业务层与渲染层。云端一体场景下FaaS侧更多的工作集中在业务层与渲染层,进行数据聚合、裁剪、字段映射和结构调整。

以下单业务为例,FaaS层通过6次HSF(RPC框架)调用获取领取数据组装而成。商品信息、收货地址与闲鱼币可以并行执行,红包、运费与验货担保可以并行执行,由于依赖商品信息与收货地址,两组任务需要串行执行。

上图中可以把每一个节点(例如:获取商品信息)抽象为任务,通过代码实现此流程就是任务编排。

任务编排如何提升开发体验?

FaaS层通常是直接在主干中逐块增加业务代码,遇到复杂场景时主干代码可能百行甚至千行,以下是通过任务编排框架编写的下单页功能代码。

  1. 通过Map类型的数据作为入参,其中多个任务都可能使用到这些参数。
  2. 使用then与thenAll两个API进行任务编排,then函数表示传入的函数串行执行,thenAll传入的函数需要并行执行。
  3. 调用apply进行任务链路的执行。
  4. 通过链式调用,整体结构非常清晰,框架的侵入性低。

可以看到以上代码入参、任务编排与获取结果,结构非常清晰。从代码上就能看出任务数量、任务流程、任务的串行与并行。通过简洁、少侵入性与链式调用极大提升开发体验。

requestItemDO函数是获取领域数据常见流程,首先是获取参数userId与itemId,通过HSF获取商品信息,拿到结果之后判断此次请求是否有效,如果有效返回具体Model数据。

任务编排的应用场景

任务类型

任务编排并不局限于HSF任务,由于框架仅要求传入的是一个函数,通过函数进行抽象,可以支持任意类型的任务编排,例如:HSF、MetaQ、Tair、DB等。

任务编排形式

下单页的例子是串行&并行共存的场景,任务编排框架支持任意数量串行、并行、复杂场景任务编排。开发同学只需要开发任务函数,然后根据任务需要串行还是并行,调用具体API接口,不用关心同步与异步的各种操作细节。

异步任务

FaaS侧的代码通常都是IO密集型的任务,例如PRC调用、数据库读写等。Dart基于事件队列(Event Queue)支持异步,其优点是可以同时等待多个IO事件,并不会阻塞主线程,从而降低总体RT(Response-time 响应时间)。Dart 异步机制耗时如下图:

任务复用与沉淀畅想

针对FaaaS侧把单个数据的获取与处理抽象为Task,随着Task沉淀的越来越多,通过多个任务的组装会出现业务解决方案层,很多场景下都需要安全校验,例如:判断用户是否禁言、商品是否违规等,这些通用的规则也可以在其他也场景中复用,例如安全校验规则可以在群聊功能中复用。
三端一体研发架构场景下,从数据的获取、组装到前端的UI可以一个开发者完成,整个链路可以如右图进行一体化的组件沉淀,一个组件包含领域数据、转换为ViewModel、客户端视图组件组成,从而形成云端一体的组件复用,提升整体开发效率。

任务编排如何提高研发质量

客户端写FaaS层代码,需要学习服务端QPS(Query Per Second每秒查询次数)、RT(Reaction Time 响应时间)、TPS(Transactions Per Second每秒事务处理量)、限流保护、降级保护与热点保护等,其中最担心的还是如何保证部署到Serverless平台上FaaS层代码的稳定性,如何才能提高质量不出现问题与故障。可以通过异常分类、如何捕获异常与异常处理三个角度来分析质量问题。

异常分类

首先总结下服务端常见异常类型:

  • 代码异常:空指针异常、数组越界等Exception
  • 系统异常:机器异常、内存溢出、线程池占满、DB异常等
  • 接口异常:接口响应超时、下游依赖异常

异常捕获

无论FaaS层出现哪种异常,不能因为异常而导致用户长时间无法正常使用功能,需要考虑异常捕获,并设计整体的降级、监控与告警方案。通常服务端开发都是通过在可能出现问题的场景添加try catch,这样代码写起来不够简洁,开发同学更期望看到像上文中queryItemDO函数一样,只编写业务功能代码,至于捕获、通用监控与告警,由任务编排框架进行统一的兜底处理。

任务编排框架把捕获的异常信息通过两种方式传递给开发同学,一种是针对单个任务的onError,一种是针对整个链路的catchError,通过这两种方式可以优雅的获取异常堆栈并进行灵活的异常处理。

通过针对调用链路设置整体超时时间,避免因任务的等待超时而导致整个接口出现超时的情况。

异常&监控

Sunfire是服务端监控平台,拥有一整套海量数据实时分析监控系统,提供系统、应用、业务等各种视角的监控能力,如果触发配置的规则会发送预警。任务编排框架把捕获的异常与当前FaaS名称等信息统一输出到日志中,在Sunfire平台配置通用的规则进行异常监控。

总结与展望

任务编排框架Jade可以解决本篇提出的两个问题:

  • 提升研发体验:开发者通过链式调用形式进行任务编排,支持任意类型任务,所有任务都可以灵活的组合,可以任意调整任务的执行顺序。
  • 提升研发质量:任务编排框架增加异常类型梳理、异常捕获与异常监控机制。

对任务编排的框架的期望并不仅针对任意类型的任务灵活编排,后续在开发阶段通过源码输出技术文档与流程图,针对单任务与任务链路进行测试,通过任务编排框架作为抓手有效打通需求、开发、测试与运维阶段,从而达到提高开发效率提高安全性的目标。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
6月前
|
监控 Serverless
在函数计算中,如果你设置了每40分钟运行一次任务
【1月更文挑战第23天】【1月更文挑战第111篇】在函数计算中,如果你设置了每40分钟运行一次任务
221 9
|
3月前
|
运维 Serverless 测试技术
函数计算产品使用问题之支持10个并发任务需要多少资源
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
5月前
|
运维 Serverless 数据库
函数计算产品使用问题之如何并行运算函数计算任务,并对任务计算后的结果再进行聚合运算
函数计算产品作为一种事件驱动的全托管计算服务,让用户能够专注于业务逻辑的编写,而无需关心底层服务器的管理与运维。你可以有效地利用函数计算产品来支撑各类应用场景,从简单的数据处理到复杂的业务逻辑,实现快速、高效、低成本的云上部署与运维。以下是一些关于使用函数计算产品的合集和要点,帮助你更好地理解和应用这一服务。
|
5月前
|
分布式计算 运维 Serverless
EMR Serverless Spark PySpark流任务体验报告
阿里云EMR Serverless Spark是一款全托管的云原生大数据计算服务,旨在简化数据处理流程,降低运维成本。测评者通过EMR Serverless Spark提交PySpark流任务,体验了从环境准备、集群创建、网络连接到任务管理的全过程。通过这次测评,可以看出阿里云EMR Serverless Spark适合有一定技术基础的企业,尤其是需要高效处理大规模数据的场景,但新用户需要投入时间和精力学习和适应。
7179 43
EMR Serverless Spark PySpark流任务体验报告
|
4月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例,介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
386 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
|
4月前
|
分布式计算 运维 Serverless
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
在大数据快速发展的时代,流式处理技术对于实时数据分析至关重要。EMR Serverless Spark提供了一个强大而可扩展的平台,它不仅简化了实时数据处理流程,还免去了服务器管理的烦恼,提升了效率。本文将指导您使用EMR Serverless Spark提交PySpark流式任务,展示其在流处理方面的易用性和可运维性。
258 7
EMR Serverless Spark 实践教程 | 通过 EMR Serverless Spark 提交 PySpark 流任务
|
3月前
|
分布式计算 Serverless 数据处理
EMR Serverless Spark 实践教程 | 通过 Apache Airflow 使用 Livy Operator 提交任务
Apache Airflow 是一个强大的工作流程自动化和调度工具,它允许开发者编排、计划和监控数据管道的执行。EMR Serverless Spark 为处理大规模数据处理任务提供了一个无服务器计算环境。本文为您介绍如何通过 Apache Airflow 的 Livy Operator 实现自动化地向 EMR Serverless Spark 提交任务,以实现任务调度和执行的自动化,帮助您更有效地管理数据处理任务。
189 0
|
4月前
|
人工智能 运维 安全
函数计算产品使用问题之设置了每40分钟运行一次任务,没有按照预期执行,是什么原因
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
6月前
|
消息中间件 编解码 运维
阿里云 Serverless 异步任务处理系统在数据分析领域的应用
本文主要介绍异步任务处理系统中的数据分析,函数计算异步任务最佳实践-Kafka ETL,函数计算异步任务最佳实践-音视频处理等。
175645 349
|
5月前
|
分布式计算 运维 Serverless
通过Serverless Spark提交PySpark流任务的实践体验
EMR Serverless Spark服务是阿里云推出的一种全托管、一站式的数据计算平台,旨在简化大数据计算的工作流程,让用户更加专注于数据分析和价值提炼,而非基础设施的管理和运维。下面就跟我一起通过Serverless Spark提交PySpark流任务吧。
199 1