AI 助理
文档备案控制台
开发者社区 云原生 Serverless 文章 正文

Knative: AI 事件驱动场景 Serverless 实践

2021-02-10 1362
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Knative 作为主流的开源 Serverless Framework，除了提供应用部署、自动弹性之外，还提供事件驱动能力。在面对 AI 场景时，用户对事件对精细化处理以及节省资源成本都有较高对要求，这里介绍通过Knative实现事件驱动、事件分发与资源自动弹性，很好的满足用户场景的诉求

导读

Knative 作为主流的开源 Serverless Framework，除了提供应用部署、自动弹性之外，还提供事件驱动能力。在面对 AI 场景时，用户对事件对精细化处理以及节省资源成本都有较高对要求，这里介绍通过Knative实现事件驱动、事件分发与资源自动弹性，很好的满足用户场景的诉求。本文会从以下 3 个方面展开介绍：

  • 事件驱动框架：Knative Eventing
  • 事件驱动引擎：事件源介绍
  • AI 事件驱动场景实践


Knative 模型

我们先来整体看一下 Knative 中两大核心模块，Serving 中是通过 Knative Service 提供应用模型，支持多版本管理、自动弹性以及流量灰度发布。Eventing 提供了事件驱动框架，包括事件源、Broker/Trigger模型。接下来我们主要介绍 Knative Eventing。

image.png

Service

manages

Configuration

Serving

Route

10%

Revisionv3

records

90%

history

of

Revisionv2

Revisionv1

Namespace

Trigger

Source

ingress

subscribe

Service

(Callable)

Events

filter

Eventing

ysiiqnd

Broker

Trigger

Source

subscribe

ingress

Service

filter

(Callable)

Events

事件驱动框架：Eventing

Knative 的 Eventing 提供了完整的事件模型，可以很容易地接入各个外部系统的事件。事件接入以后通过 CloudEvent 标准在内部流转，结合 Broker/Trigger 机制给事件处理提供了非常理想的方式。

image.png

  • Knative Eventing 提供的服务是松散耦合，可进行独立开发和部署。服务可跨平台使用（如 Kubernetes, VMs, SaaS 或者 FaaS）
  • 事件的生产者和事件的消费者是相互独立的。
  • 社区提供多种开箱即用的事件源
  • 支持第三方消息系统，提供灵活的扩展性。


关键特性-事件规则

在 Eventing 中通过Broker/Trigger进行事件流转和分发，分发离不开规则的设置，Trigger 中提供了丰富的规则设置能力，如图所示：

image.png

  • Trigger的filter的作用是对Event进行内容过滤。
  • 支持对Event的Attribute以及Data的内容进行过滤。
  • 支持Common Expression Language (CEL) 表达式过滤。
  • 支持通过SourceAndType进行过滤

事件驱动引擎: 事件源

事件源是事件驱动的引擎，Knative社区提供了丰富的事件源，如Kafka、GitHub等。此外还接入消息云产品事件源，如MNS、RocketMQ等。

image.png

事件源

DOE

每

6

Kafka

MNS

OSS

tableStoreRocketMQ

gitlabkubernetes

acr

CloudEvent

Eventing

Broker

Trigger

Trigger

Trigger

Serving

基于镜像发布服务

从源码构建镜像

定时任务

AI音视频处理

这套完备的事件系统可以比较容易的实现事件驱动场景如下：

  • 自动 CICD
  • AI 音视频场景
  • 比如和各种云产品的事件对接，从而实现云产品状态更新自动触发一个服务等


RocketMQ事件源

消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。消息队列RocketMQ版既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。

RocketMQSource是 Knative 平台的 RocketMQ事件源。其可以将 RocketMQ集群的消息以Cloud Event的格式实时转发到Knative 平台，是 ApaheRocketMQ和 Knative 之间的连接器。

image.png

KNativedataplane

Broker/Tngger

RocketMQ

RocketMQCluster

Services

Source

RocketMQ消息CloudEvent事件


  • 对接RocketMQ消息系统
  • 消息分发到 Knative Service服务

Kafka事件源

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。

Knative 社区提供Kafka事件源，支持开源社区Kafka以及阿里云Kafka产品:

  • 对接Kafka消息系统
  • 消息分发到 Knative Service服务

image.png

8

消息

Katka

Knative

K

KatkaSource

POD

POD

POD

POD

业务服务

AI 事件驱动场景实践

接下来我们以Kafka事件源为例，介绍一个典型的消息驱动场景。

客户是一个线上直播系统，每天都有海量的直播访问，访问量根据直播热度弹性波动，存在不定时激增；同时，直播系统支持用户在线互动，互动行为会通过消息服务（Kafka）实时推送到服务端进行数据和AI处理，处理结果会即时推送回视频流与视频直播产生联动。消息数据的处理主要有以下技术挑战：

1、业务弹性波动，消息并发高。

2、互动实时响应，低延迟。

image.png

ACK+Knative

事件处理

事件网关

事件源

POD

POD

一日

自动弹性

POD

POD

消息队列Kafka

Kafka事件源

事件网关

业务服务

为了满足客户系统对于消息处理的弹性波动、高并发、低时延的要求，客户选择使用阿里云的Knative服务进行数据的弹性处理。阿里云Knative完全契合用户的需求，在兼容k8s标准的基础上，提供了基于事件/消息的容器弹性调度。应用实例数随着业务波峰波谷实时扩容和缩容，真正做到了按需使用，实时弹性的云计算能力。整个过程完全自动化，极大的减少了业务开发人员在基础设施上的心智负担。接下来我们通过一个示例来模拟用户的场景

前提条件

  • 创建ACK/ASK集群，并选择【Knative】进行安装
  • 对于已有ASK集群，部署Knative参考
  • 部署事件驱动Eventing

操作步骤

  1. 部署事件网关

在Knative 组件管理控制台，选择“Kourier”以及“EventGateway” addon组件进行部署

image.png

knastiva-test-pre

脏务兰理

丝件董理

集新信点

朱群:kngtive-test-pre/Knative组件甘理

用新

健有敬

命名空间气4信集

背吃文档

工作负五

访间岗夫:47103.223.162

无状态

杭心姐性

白扶态

超作

横心组件

状

合名空用

打我

详情

部

已邮

Seewing

knatlue--serving

定时仁男

正鲁

泰部哥

容理划

自龙义空话

赛作

*态

青注

创济药呵

适本

Add-on调件

眼务与路巾

未秘

捉供GitHub件退,示:Gl.Hub丁件处理

GITHub

配量专理

饼MNSO事示:于Mn5055再件案人胎限片识

打

开

共于Kafka半性安案

竖促快K:ka412.0.0及以上西木件旺:

5

未开死

HOLm

提东ROCLTKO掌件姿

未部

乐供Kourler网关

未

搜供本件精准谢度功萌

未部

蛋

EwontCatoway

安全督理

  1. 部署事件源。选择 Kafka 事件源进行部署。

image.png

knative-test-pre

年件青理

务障理

红群你

朱群:knative-test-pre/Knative?件理

中名空间55惠

行伟助文档

工作负轧

请间网关:47.103.223.162

植车目件

有北态

注

默态

按心姐件

腐木

命名二月

学药

洋情

y0.130

定对任岛

红话

未享哥

印量

V0.140

曾安妞

add-on组件

状态

密注

争名空间

add-on扭件

创注时间

出乌与晗由

天虹

配置性理

爱等ns0ss+件示件:于Mn5O05件实人

大部哥

￥1.00

订

应用

提供K&IK2.0O及以上播瓜)享知品特于katk事件实

元用置

本城

现洁克挫送

吴5

提供RucketMg4.

RockeTQ

T

优Kouicr碍关

大部

透娜气理

加话

半保鸭件棉准润石功方

共部膏

yo.1.0

EwentCa:awaw

安全畔

  1. 部署服务

这里我们部署一个Knative Service 服务 event-display，用于接收事件。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: event-display
  annotations:
    networking.knative.dev/flow-controller.class: strict
    networking.knative.dev/ingress.class: kourier.ingress.networking.knative.dev
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/class: xpa.autoscaling.knative.dev
        autoscaling.knative.dev/maxScale: "100"
        autoscaling.knative.dev/minScale: "1"
        autoscaling.knative.dev/pod-buffer-size: "3"
        autoscaling.knative.dev/gc-time: "30"
    spec:
      containers:
      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/event-display:0128

部署完成之后，我们可以查看结果：

$ kubectl get po |grep event
event-display-tslr5-deployment-5c9c4c469b-bnjlz                   2/2     Running   0          3h53m
event-display-tslr5-deployment-5c9c4c469b-bwxtm                   2/2     Running   0          3h53m
event-display-tslr5-deployment-5c9c4c469b-fjjr7                   2/2     Running   0          5d13h
  1. 创建事件源CR

创建KafkaSource资源，设置Kafka 对应的topic、consumerGroup、 kourier 网关地址以及用于消费事件的服务event-display。

apiVersion: sources.knative.dev/v1alpha1
kind: KafkaSource
metadata:
  name: kafka-source
  annotations:
    k8s.aliyun.com/domain: event-display.default.example.com
    k8s.aliyun.com/retry-count: "5"
    k8s.aliyun.com/retry-interval: "2"
    k8s.aliyun.com/req-timeout: "60"
spec:
  consumerGroup: demo-consumer
  # Broker URL. Replace this with the URLs for your kafka cluster,
  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.
  bootstrapServers: 192.168.7.113:9092,192.168.7.110:9092,192.168.7.108:9092
  topics: demo
  sink:
    uri: http://101.200.177.84

创建完成之后，可以查看对应的kafka事件源pod：

$ kubectl get po|grep kafka
kafkasource-kafka-source-a8b95415-703f-4d50-8339-6203f0f6154pzq   1/1     Running   0          5d13h
kafkasource-kafka-source-a8b95415-703f-4d50-8339-6203f0f61x9xc9   1/1     Running   0          5d13h

执行结果

我们通过客户端往kafka消息队列中发送消息进行结果验证，执行如下：

$ kubectl get po
NAME                                                              READY   STATUS    RESTARTS   AGE
event-display-tslr5-deployment-5c9c4c469b-58hv6                   2/2     Running   0          23s
event-display-tslr5-deployment-5c9c4c469b-bnjlz                   2/2     Running   0          4h6m
event-display-tslr5-deployment-5c9c4c469b-bwxtm                   2/2     Running   0          4h6m
event-display-tslr5-deployment-5c9c4c469b-d9vxc                   2/2     Running   0          23s
event-display-tslr5-deployment-5c9c4c469b-fjjr7                   2/2     Running   0          5d13h
event-display-tslr5-deployment-5c9c4c469b-kl827                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-l5642                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-q82pq                   2/2     Running   0          23s
event-display-tslr5-deployment-5c9c4c469b-qh7z5                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-qmcnn                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-t7sv2                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-tpnwk                   2/2     Running   0          24s


总结

本文介绍了 Knative 驱动框架：Eventing，并支持 Kafka 以及 RocketMQ 事件源接入，对于 AI 事件驱动场景下我们如何将消息服务和 Knative 进行结合进行了介绍。欢迎有兴趣的同学进行交流。

image.png


文章标签：
函数计算
云消息队列 Kafka 版
容器服务Kubernetes版
云消息队列 MQ
Perl
容器
测试技术
消息中间件
人工智能
RocketMQ
Kubernetes
Kafka
Apache
Serverless
相关实践学习
【玩转ComfyUI】基于函数计算一键部署AI生图平台ComfyUI
本次实验将带大家通过使用阿里云产品函数计算FC，快速使用ComfyUI实现更高质量的图像生成。
从 0 入门函数计算
在函数计算的架构中，开发者只需要编写业务代码，并监控业务运行情况就可以了。这将开发者从繁重的运维工作中解放出来，将精力投入到更有意义的开发任务上。
元毅
目录
相关文章
阿里云云原生
|
11月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE：为传统应用托底，为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下，企业既要稳健托管传统业务，又要高效落地 AI 创新，如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本，成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎（SAE）正是为应对这一时代挑战而生的破局者，SAE 以“免运维、强稳定、极致降本”为核心，通过一站式的应用级托管能力，同时支撑传统应用与 AI 应用，让企业把更多精力投入到业务创新。
阿里云云原生
987 30
阿里云云原生
|
11月前
|
人工智能 运维 安全
加速智能体开发：从 Serverless 运行时到 Serverless AI 运行时
在云计算与人工智能深度融合的背景下，Serverless 技术作为云原生架构的集大成者，正加速向 AI 原生架构演进。阿里云函数计算（FC）率先提出并实践“Serverless AI 运行时”概念，通过技术创新与生态联动，为智能体（Agent）开发提供高效、安全、低成本的基础设施支持。本文从技术演进路径、核心能力及未来展望三方面解析 Serverless AI 的突破性价值。
阿里云云原生
935 4
阿里云-云栖战略参考
|
人工智能 自然语言处理 安全
AI战略丨新一代 AI 应用: 穿透场景，释放价值
在深入理解技术特性、准确把握应用场景、科学评估实施条件的基础上，企业才能制定出符合自身实际的战略。
阿里云-云栖战略参考
1104 0
算AI
|
机器学习/深度学习 人工智能 自然语言处理
当无人机遇上Agentic AI：新的应用场景及挑战
本文简介了Agentic AI与AI Agents的不同、Agentic无人机的概念、应用场景、以及所面临的挑战
算AI
1301 5
当无人机遇上Agentic AI：新的应用场景及挑战
阿里云云原生
|
人工智能 运维 Serverless
活动邀请 | 阿里云AI原生应用开发实战营—Serverless AI 专场（北京站）开启报名！
阿里云 AI 原生应用开发实战营——Serverless AI 专场将于 2025 年 8 月 1 日在北京举办。活动聚焦 Serverless 架构如何助力 AI 应用解决算力成本高、资源弹性需求高、运维复杂等难题，提供分钟级构建生产级 AI 应用的实战体验。
阿里云云原生
429 0
小华同学ai
|
人工智能 数据可视化 程序员
程序员必收藏！Github 167000+ star 的自主AI agent，全自动AI助手，全面覆盖开发效率场景
AutoGPT 是基于 GPT-4 的开源自主 AI 智能代理，全面覆盖开发效率场景。支持任务自动拆解、多轮反馈、插件扩展与记忆管理，具备持续执行能力，适合自动化测试、CI/CD、Web 数据抓取等任务。GitHub 超 176K Star，是当前最热门的 AI Agent 开源项目之一，提供 CLI 与 GUI 双界面，助力开发者提升工作效率。
小华同学ai
1786 1
思通聚宝
|
12月前
|
传感器 人工智能 监控
建筑施工安全 “智能防线”！AI 施工监测系统，全方位破解多场景隐患难题
AI施工监测系统通过多场景识别、智能联动与数据迭代，实现材料堆放、安全通道、用电、大型设备及人员行为的全场景智能监管。实时预警隐患，自动推送告警，联动现场处置，推动建筑安全从“人工巡查”迈向“主动防控”，全面提升施工安全管理水平。
思通聚宝
2215 15
科技云报道
|
11月前
|
传感器 人工智能 机器人
科技云报到：找到真场景，抓住真需求，这样的具身智能才是好AI
科技云报到：找到真场景，抓住真需求，这样的具身智能才是好AI
科技云报道
413 1
阿里云云原生
|
12月前
|
人工智能 运维 安全
聚焦 AI 应用基础设施，云栖大会 Serverless AI 全回顾
2025 年 9 月 26 日，为期三天的云栖大会在杭州云栖小镇圆满闭幕。随着大模型技术的飞速发展，我们正从云原生时代迈向一个全新的 AI 原生应用时代。为了解决企业在 AI 应用落地中面临的高成本、高复杂度和高风险等核心挑战，阿里云基于函数计算 FC 发布一系列重磅服务。本文将对云栖大会期间 Serverless+AI 基础设施相关内容进行全面总结。
阿里云云原生
1491 5
云原生

Serverless

热门文章

最新文章

  • 1
    开发函数计算的正确姿势 —— 移植 next.js 服务端渲染框架
  • 2
    thinkphp项目迁移到函数计算
  • 3
    Serverless技术架构——极简运维，无限扩容
  • 4
    快速搭建基于 Serverless 的 .NET Core 数据库应用
  • 5
    首次揭秘：阿里巴巴中间件在 Serverless 技术领域的探索
  • 6
    10分钟-使用阿里云函数计算构建你的OCR智能识别云端小程序
  • 7
    玩转阿里云函数计算(一)----Java Http 触发器极速迁移传统 Spring 应用
  • 8
    阿里云宣布推出Serverless Kubernetes服务 30秒即可完成应用部署
  • 9
    入门篇：函数计算的基本概念和通用场景概述
  • 10
    玩转阿里云Serverless Kubernetes新功能
  • 1
    用 Next.js 和 Cloudflare Workers 构建浏览器本地工具站：架构、隐私与性能取舍
    87
  • 2
    函数计算 + API Gateway:从 ECS 迁到 Serverless 的成本与冷启动实测
    102
  • 3
    AI工作流结果已保存、下游事件却没发出去怎么办？用Outbox模式补上事务边界
    144
  • 4
    AI事件进入死信队列后能直接重放吗？用错误指纹、幂等检查和修复门禁避免二次故障
    137
  • 5
    AI工作流中间失败要全部重跑吗？用云工作流Retry、Catch和补偿台账实现局部恢复
    195
  • 6
    AI任务输入文件太大怎么办？用OSS对象引用、内容摘要和函数计算构建轻量任务信封
    178
  • 7
    AI批处理任务遇到流量高峰怎么办？用消息队列、可见性超时和并发上限建立背压
    159
  • 8
    AI工作流配置如何安全上线？用不可变版本、别名和回滚清单控制提示词变更
    172
  • 9
    一人公司如何设计可审核的AI内容任务系统？从本地状态机到阿里云Serverless架构
    199
  • 10
    用两行代码将 AgentRun 集成到你的应用
    349

    • 相关产品

  • 函数计算
    文档详情 产品详情

    • 相关课程

    更多
  • Serverless Develpoer Meetup 课程
  • Serverless 架构在软件研发工程实践方面的价值
  • Serverless 在各行业的实践
  • Serverless 在阿里巴巴的实践
  • Serverless 函数计算架构
  • Serverless 常见架构模式

    • 相关电子书

    更多
  • 微服务 Serverless 的演进和实践
  • ApsaraMQ Serverless 演进之路
  • 阿里云云原生 Serverless 技术实践营 PPT 演讲

    • 相关实验场景

    更多
  • 通过OSS加速器加速AI数据传输
  • 基于dify快速构建一款定制化AI工具
  • 基于ECS部署一款规划行程的AI Agent
  • 一键生成毛茸萌宠形象，基于函数计算极速部署ComfyUI生图系统
  • 通过ACK Serverless搭建企业级网站应用
  • Serverless极速搭建Hexo博客
    • 下一篇
    一条命令迁移，帮你实现 OpenClaw 与 Hermes Agent 记忆互通！