Knative: AI 事件驱动场景 Serverless 实践-阿里云开发者社区

Knative: AI 事件驱动场景 Serverless 实践

2021-02-10 1390

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： Knative 作为主流的开源 Serverless Framework，除了提供应用部署、自动弹性之外，还提供事件驱动能力。在面对 AI 场景时，用户对事件对精细化处理以及节省资源成本都有较高对要求，这里介绍通过Knative实现事件驱动、事件分发与资源自动弹性，很好的满足用户场景的诉求

导读

Knative 作为主流的开源 Serverless Framework，除了提供应用部署、自动弹性之外，还提供事件驱动能力。在面对 AI 场景时，用户对事件对精细化处理以及节省资源成本都有较高对要求，这里介绍通过Knative实现事件驱动、事件分发与资源自动弹性，很好的满足用户场景的诉求。本文会从以下 3 个方面展开介绍：

事件驱动框架：Knative Eventing
事件驱动引擎：事件源介绍
AI 事件驱动场景实践

Knative 模型

我们先来整体看一下 Knative 中两大核心模块，Serving 中是通过 Knative Service 提供应用模型，支持多版本管理、自动弹性以及流量灰度发布。Eventing 提供了事件驱动框架，包括事件源、Broker/Trigger模型。接下来我们主要介绍 Knative Eventing。

Service

manages

Configuration

Serving

Route

10%

Revisionv3

records

90%

history

Revisionv2

Revisionv1

Namespace

Trigger

Source

ingress

Service

(Callable)

Events

filter

Eventing

ysiiqnd

Broker

Trigger

Source

ingress

Service

filter

(Callable)

Events

事件驱动框架：Eventing

Knative 的 Eventing 提供了完整的事件模型，可以很容易地接入各个外部系统的事件。事件接入以后通过 CloudEvent 标准在内部流转，结合 Broker/Trigger 机制给事件处理提供了非常理想的方式。

Knative Eventing 提供的服务是松散耦合，可进行独立开发和部署。服务可跨平台使用（如 Kubernetes, VMs, SaaS 或者 FaaS）
事件的生产者和事件的消费者是相互独立的。
社区提供多种开箱即用的事件源
支持第三方消息系统，提供灵活的扩展性。

关键特性-事件规则

在 Eventing 中通过Broker/Trigger进行事件流转和分发，分发离不开规则的设置，Trigger 中提供了丰富的规则设置能力，如图所示：

Trigger的filter的作用是对Event进行内容过滤。
支持对Event的Attribute以及Data的内容进行过滤。
支持Common Expression Language (CEL) 表达式过滤。
支持通过SourceAndType进行过滤

事件驱动引擎: 事件源

事件源是事件驱动的引擎，Knative社区提供了丰富的事件源，如Kafka、GitHub等。此外还接入消息云产品事件源，如MNS、RocketMQ等。

事件源

DOE

每

Kafka

MNS

OSS

tableStoreRocketMQ

gitlabkubernetes

acr

CloudEvent

Eventing

Broker

Trigger

Serving

基于镜像发布服务

从源码构建镜像

定时任务

AI音视频处理

这套完备的事件系统可以比较容易的实现事件驱动场景如下：

自动 CICD
AI 音视频场景
比如和各种云产品的事件对接，从而实现云产品状态更新自动触发一个服务等

RocketMQ事件源

消息队列RocketMQ版是阿里云基于Apache RocketMQ构建的低延迟、高并发、高可用、高可靠的分布式消息中间件。消息队列RocketMQ版既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积、高吞吐、可靠重试等特性。

RocketMQSource是 Knative 平台的 RocketMQ事件源。其可以将 RocketMQ集群的消息以Cloud Event的格式实时转发到Knative 平台，是 ApaheRocketMQ和 Knative 之间的连接器。

KNativedataplane

Broker/Tngger

RocketMQ

RocketMQCluster

Services

Source

RocketMQ消息CloudEvent事件

对接RocketMQ消息系统
消息分发到 Knative Service服务

Kafka事件源

消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等，是大数据生态中不可或缺的产品之一，阿里云提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。

Knative 社区提供Kafka事件源，支持开源社区Kafka以及阿里云Kafka产品:

对接Kafka消息系统
消息分发到 Knative Service服务

消息

Katka

Knative

KatkaSource

POD

业务服务

AI 事件驱动场景实践

接下来我们以Kafka事件源为例，介绍一个典型的消息驱动场景。

客户是一个线上直播系统，每天都有海量的直播访问，访问量根据直播热度弹性波动，存在不定时激增；同时，直播系统支持用户在线互动，互动行为会通过消息服务（Kafka）实时推送到服务端进行数据和AI处理，处理结果会即时推送回视频流与视频直播产生联动。消息数据的处理主要有以下技术挑战：

1、业务弹性波动，消息并发高。

2、互动实时响应，低延迟。

ACK+Knative

事件处理

事件网关

事件源

POD

一日

自动弹性

POD

消息队列Kafka

Kafka事件源

事件网关

业务服务

为了满足客户系统对于消息处理的弹性波动、高并发、低时延的要求，客户选择使用阿里云的Knative服务进行数据的弹性处理。阿里云Knative完全契合用户的需求，在兼容k8s标准的基础上，提供了基于事件/消息的容器弹性调度。应用实例数随着业务波峰波谷实时扩容和缩容，真正做到了按需使用，实时弹性的云计算能力。整个过程完全自动化，极大的减少了业务开发人员在基础设施上的心智负担。接下来我们通过一个示例来模拟用户的场景

前提条件

创建ACK/ASK集群，并选择【Knative】进行安装
对于已有ASK集群，部署Knative参考
部署事件驱动Eventing

操作步骤

部署事件网关

在Knative 组件管理控制台，选择“Kourier”以及“EventGateway” addon组件进行部署

knastiva-test-pre

脏务兰理

丝件董理

集新信点

朱群:kngtive-test-pre/Knative组件甘理

用新

健有敬

命名空间气4信集

背吃文档

工作负五

访间岗夫:47103.223.162

无状态

杭心姐性

白扶态

超作

横心组件

状

合名空用

打我

详情

部

已邮

Seewing

knatlue--serving

定时仁男

正鲁

泰部哥

容理划

自龙义空话

赛作

*态

青注

创济药呵

适本

Add-on调件

眼务与路巾

未秘

捉供GitHub件退,示:Gl.Hub丁件处理

GITHub

配量专理

饼MNSO事示:于Mn5055再件案人胎限片识

打

开

共于Kafka半性安案

竖促快K:ka412.0.0及以上西木件旺:

未开死

HOLm

提东ROCLTKO掌件姿

未部

乐供Kourler网关

未

搜供本件精准谢度功萌

未部

蛋

EwontCatoway

安全督理

部署事件源。选择 Kafka 事件源进行部署。

knative-test-pre

年件青理

务障理

红群你

朱群:knative-test-pre/Knative?件理

中名空间55惠

行伟助文档

工作负轧

请间网关:47.103.223.162

植车目件

有北态

注

默态

按心姐件

腐木

命名二月

学药

洋情

y0.130

定对任岛

红话

未享哥

印量

V0.140

曾安妞

add-on组件

状态

密注

争名空间

add-on扭件

创注时间

出乌与晗由

天虹

配置性理

爱等ns0ss+件示件:于Mn5O05件实人

大部哥

￥1.00

订

应用

提供K&IK2.0O及以上播瓜)享知品特于katk事件实

元用置

本城

现洁克挫送

吴5

提供RucketMg4.

RockeTQ

优Kouicr碍关

大部

透娜气理

加话

半保鸭件棉准润石功方

共部膏

yo.1.0

EwentCa:awaw

安全畔

部署服务

这里我们部署一个Knative Service 服务 event-display，用于接收事件。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: event-display
  annotations:
    networking.knative.dev/flow-controller.class: strict
    networking.knative.dev/ingress.class: kourier.ingress.networking.knative.dev
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/class: xpa.autoscaling.knative.dev
        autoscaling.knative.dev/maxScale: "100"
        autoscaling.knative.dev/minScale: "1"
        autoscaling.knative.dev/pod-buffer-size: "3"
        autoscaling.knative.dev/gc-time: "30"
    spec:
      containers:
      - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/event-display:0128

部署完成之后，我们可以查看结果：

$ kubectl get po |grep event
event-display-tslr5-deployment-5c9c4c469b-bnjlz                   2/2     Running   0          3h53m
event-display-tslr5-deployment-5c9c4c469b-bwxtm                   2/2     Running   0          3h53m
event-display-tslr5-deployment-5c9c4c469b-fjjr7                   2/2     Running   0          5d13h

创建事件源CR

创建KafkaSource资源，设置Kafka 对应的topic、consumerGroup、 kourier 网关地址以及用于消费事件的服务event-display。

apiVersion: sources.knative.dev/v1alpha1
kind: KafkaSource
metadata:
  name: kafka-source
  annotations:
    k8s.aliyun.com/domain: event-display.default.example.com
    k8s.aliyun.com/retry-count: "5"
    k8s.aliyun.com/retry-interval: "2"
    k8s.aliyun.com/req-timeout: "60"
spec:
  consumerGroup: demo-consumer
  # Broker URL. Replace this with the URLs for your kafka cluster,
  # which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.
  bootstrapServers: 192.168.7.113:9092,192.168.7.110:9092,192.168.7.108:9092
  topics: demo
  sink:
    uri: http://101.200.177.84

创建完成之后，可以查看对应的kafka事件源pod：

$ kubectl get po|grep kafka
kafkasource-kafka-source-a8b95415-703f-4d50-8339-6203f0f6154pzq   1/1     Running   0          5d13h
kafkasource-kafka-source-a8b95415-703f-4d50-8339-6203f0f61x9xc9   1/1     Running   0          5d13h

执行结果

我们通过客户端往kafka消息队列中发送消息进行结果验证，执行如下：

$ kubectl get po
NAME                                                              READY   STATUS    RESTARTS   AGE
event-display-tslr5-deployment-5c9c4c469b-58hv6                   2/2     Running   0          23s
event-display-tslr5-deployment-5c9c4c469b-bnjlz                   2/2     Running   0          4h6m
event-display-tslr5-deployment-5c9c4c469b-bwxtm                   2/2     Running   0          4h6m
event-display-tslr5-deployment-5c9c4c469b-d9vxc                   2/2     Running   0          23s
event-display-tslr5-deployment-5c9c4c469b-fjjr7                   2/2     Running   0          5d13h
event-display-tslr5-deployment-5c9c4c469b-kl827                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-l5642                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-q82pq                   2/2     Running   0          23s
event-display-tslr5-deployment-5c9c4c469b-qh7z5                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-qmcnn                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-t7sv2                   2/2     Running   0          24s
event-display-tslr5-deployment-5c9c4c469b-tpnwk                   2/2     Running   0          24s

总结

本文介绍了 Knative 驱动框架：Eventing，并支持 Kafka 以及 RocketMQ 事件源接入，对于 AI 事件驱动场景下我们如何将消息服务和 Knative 进行结合进行了介绍。欢迎有兴趣的同学进行交流。

Knative: AI 事件驱动场景 Serverless 实践

导读

Knative 模型

事件驱动框架：Eventing

关键特性-事件规则

事件驱动引擎: 事件源

RocketMQ事件源

Kafka事件源

AI 事件驱动场景实践

前提条件

操作步骤

执行结果

总结

Serverless

热门文章

最新文章

相关产品

相关课程

相关电子书

相关实验场景