Apache OpenWhisk架构概述

本文涉及的产品
MSE Nacos/ZooKeeper 企业版试用,1600元额度,限量50份
函数计算FC,每月15万CU 3个月
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 本文讲的是Apache OpenWhisk架构概述【编者的话】Apache OpenWhisk是一个开源FaaS平台。现在,AWS Lambda是FaaS最流行的实现。 在开源组件的选择中,OpenWhisk是最好的选择。
本文讲的是Apache OpenWhisk架构概述【编者的话】Apache OpenWhisk是一个开源FaaS平台。现在,AWS Lambda是FaaS最流行的实现。 在开源组件的选择中,OpenWhisk是最好的选择。OpenWhisk是一个健壮的、可扩展的平台,支持数千并发触发器和调用。这篇文章将探索OpenWhisk设计和架构,识别各种组件及其作用,可以帮助我们更好的了解分布式系统和serverless平台。

【3 天烧脑式 Docker 训练营 | 上海站】随着Docker技术被越来越多的人所认可,其应用的范围也越来越广泛。本次培训我们理论结合实践,从Docker应该场景、持续部署与交付、如何提升测试效率、存储、网络、监控、安全等角度进行。

Apache OpenWhisk 是一个由IBM和Adobe驱动的开源项目,它是一个健壮的FaaS平台,可以部署在云或数据中心内。相比其他 serverless 项目, OpenWhisk 是一个健壮的、可扩展的平台,支持数千并发触发器和调用。

你可以使用 Bluemix 托管版本的OpenWhisk或在 自己的开发机器 上部署基于Vagrant的OpenWhisk环境。在本文中,我们将探索OpenWhisk的设计和架构,识别各种组件及其作用。

要获得最佳的指南,建议在自己的机器上部署基于 Vagrant 的OpenWhisk环境。OpenWhisk的CLI,wsk应该配置本地的设置。

架构的快速回顾

Apache OpenWhisk旨在作为异步和松耦合的执行环境,可以基于外部触发器运行功能。开发人员编写独立的功能,作为操作上传,完全独立于事件源。事件源通过必不可少的正确的参数集调用操作。 

一旦操作就位,开发人员就可以创建触发器。触发器是事件源显式调用端点,事件源如:数据库、流处理引擎、文件系统和业务应用程序等。一个操作独立于触发器,这意味着触发器可能或可能没有任何操作绑定。当事件源触发一个触发器时,可能不知道被调用的操作。绑定到触发器的操作集只在运行时被发现和执行。

但是,开发人员如何使用触发器绑定操作?这就出现了规则。规则作为触发器和操作之间的粘合,在触发器和操作之间创建松耦合的关联。该设计模式使得相同的操作可以被不同的触发器调用。
c62548ae-ow-arch-1.png

这种松耦合的架构使OpenWhisk成为可扩展、可靠和强大的无服务器平台。 执行的每个层都被设计成独立扩展。

操作、规则和触发器可以通过REST端点创建和管理。 事件源调用一个操作所需要做的就是调用触发器的REST API。

下面是演示的工作流程,突出了创建和调用代码的简单而强大的机制:
$ cat > hello.js << EOF

function main() {

console.log('Hello World');

return {msg: 'Hello World'};

}

EOF

$ wsk -i action create helloAction hello.js

ok: created action helloAction

$ wsk -i trigger create helloTrigger

ok: created trigger helloTrigger

$ wsk -i rule create helloRule helloTrigger helloAction

ok: created rule helloRule

$ wsk -i trigger fire helloTrigger

ok: triggered /guest/helloTrigger with id 350364de139547ba8c95113ef0908911

OpenWhisk的构建模块

现在来看看OpenWhisk的核心组件。

下图描绘了OpenWhisk的架构。 从Nginx到Kafka到Docker,这个serverless平台使用多种技术。
2ae03e6a-ow-arch-2.png

通过访问Vagrant Box,使用SSH去检查运行的Docker容器和拉取的图像:
$ docker ps --format "{{.Names}} - {{.Image}}"

wsk0_425_warmJsContainer_20170202T014345371Z - whisk/nodejs6action:latest

wsk0_424_warmJsContainer_20170202T014153330Z - whisk/nodejs6action:latest

nginx - nginx:1.11

invoker0 - whisk/invoker:latest

controller - whisk/controller:latest

kafka - ches/kafka:0.10.0.1

zookeeper - zookeeper:3.4

registrator - gliderlabs/registrator

consul - consul:0.7.0

couchdb - couchdb:1.6

前两个容器代表最近被调用的操作,而其他容器则直接映射到核心组件。下面让我们了解每个组件的作用。

Nginx

这个 开源Web服务器 暴露HTTP(S)端点给客户端。它主要用做API的反向代理以及终止SSL连接。每个进入OpenWhisk基础架构的请求,包括那些源自wsk CLI的请求,都通过该层。由于它是完全无状态的,所以Nginx层可以轻松扩展。

控制器

在通过反向代理的请求之后,会触发控制器,该控制器充当系统的守门员。在Scala中,该组件负责OpenWhisk API的实际实现。在将控件交给下一个组件之前,它会执行每个请求的身份验证和授权。控制器被认为是系统的协调者,它将决定请求最终采取的路径。

CouchDB

系统的状态在 CouchDB (一个开源JSON数据存储)中进行维护和管理。凭证、元数据、命名空间以及操作、触发器和规则的定义存储在CouchDB中。控制器根据存储在此数据库中的凭证识别凭证。

可以通过访问 http://192.168.33.13:5984/_utils/ (链接仅在开发者机器上使用)从浏览器访问数据库。
69e516f6-ow-arch-couchdb.png


查看创建的初始的操作、触发器和规则集 http://192.168.33.13:5984/_uti ... hisks
71f7db81-ow-arch-couchdb-1.png

helloAction的源代码也保留在CouchDB中,包括操作的定义、默认参数和所分配的资源配额:
c34793cc-ow-arch-couchdb-2.png

OpenWhisk中的每次调用都会导致一个激活,它包含Action的输出。 例如,以下命令异步调用helloAction导致新的激活ID:
$ wsk -i action invoke helloAction

ok: invoked /guest/helloAction with id 8004746e06f147b99c1e8b0be875ec64

The output of this invocation can be retrieved through the following command.

$ wsk -i activation get --summary 8004746e06f147b99c1e8b0be875ec64

activation result for /guest/helloAction (success at 2017-02-02 08:01:46 +0530 IST)

{

"msg": "Hello World"

}    

如下是存储在CouchDB中的输出。
c2e16397-ow-arch-couchdb-3.png

Consul

OpenWhisk、Kubernetes和Swarm这样的现代分布式计算平台依靠分布式键/值存储进行状态管理。 OpenWhisk使用Consul作为系统每个组件可访问的单一数据源。 同时,consul还提供服务发现功能,使控制器发现调用操作的实体。 这些实体被称为调用者(Invokers),它们直接负责执行代码。 Consul拥有可用的调用者及其健康状况清单。

Consul支持注册者Registrator,注册者可以观看新的Docker容器,并检查他们,决定他们提供的服务。 当Docker引擎创建一个新的容器时,注册者会收到被推入Consul的事件。

当Controller需要将操作委派给调用者时,它会在Consul列表中查找合适的候选人。

Consul的UI http://192.168.33.13:8500/ui/#/dc1/services
02249ef4-ow-arch-consul.png

查看可用的调用者: http://192.168.33.13:8500/ui/#/dc1/kv/invokers/
c7b91496-ow-arch-consul-1.png

Kafka

Apache Kafka 通常用于构建实时数据管道和流应用程序。它支持需要可靠、高速数据摄取的生产工作负载。 OpenWhisk利用Kafka连接控制器和调用者。

kafka缓存由控制器发送的消息,然后再将它们传递给上节的Consul的调用者。当kafka确认消息被传递时,控制器立即用激活ID进行响应。这种无状态架构使OpenWhisk具有高度可扩展性。

Apache ZooKeeper 维护和管理Kafka集群。 Zookeeper的主要工作是跟踪Kafka群集中存在的节点的状态,并跟踪主题、消息和配额。

调用者(Invoker)

调用者使用Scala实现,调用者是处理执行过程的最后阶段。基于运行时的要求和配额分配,会自动创建一个新的Docker容器,作为所选操作的执行单位。 调用者从CouchDB复制源代码,并将其注入Docker容器。一旦执行完成,它将激活的结果存储在CouchDB中,以便将来检索。 调用者决定重新使用现有的“热”容器,或启动一个暂停的“暖”容器,或启动一个新的“冷”容器进行新的调用。它会查询Conusl的容器状态以进行适合的调用。

可能有多个调用者取决于平台的负载和利用率。

根据元数据,调用者会选择要使用的容器图像。以下是调用helloAction的两个容器。
$ docker ps --format "{{.Names}} - {{.Image}}"| grep "JsContainer"

wsk0_457_warmJsContainer_20170202T035154330Z - whisk/nodejs6action:latest

wsk0_456_warmJsContainer_20170202T035037341Z - whisk/nodejs6action:latest   

Docker

Apache OpenWhisk建立在一些开源技术基础上,Docker起着非常重要的作用。 几乎所有的OpenWhisk组件都打包和部署为容器。 从Nginx到kafka到consul,平台运行都是容器。可以通过 Docker hub 查询OpenWhisk镜像列表。

即将到来:API网关

虽然没有完全集成,OpenWhisk也有一个内置的API网关负责暴露操为HTTP端点。 基于Openresty的Nginx,此项目是由Adobe维护的开源项目。 目前这种能力是可用的实验功能,以下命令显示了可能的选项:
$ wsk -i api-experimental

work with APIs

Usage:

wsk api-experimental [command]


Available Commands:

create      create a new API

get         get API details

delete      delete an API

list        list APIs

总结

OpenWhisk是一个吸引人的项目去了解分布式系统和serverless平台。 感谢IBM和Adobe捐赠到Apache基金会,鼓励社区参与。 最近,尽管许多开源serverless平台如雨后春笋般涌现,而OpenWhisk以健壮的架构和设计的脱颖而出。

在开源组件的选择中,OpenWhisk是最好的选择,贡献总体成功的平台。 希望看到在未来几个月增加采用OpenWhisk。 并关注整合OpenWhisk与流行的数据库、存储引擎和API网关。

原文链接:An Architectural View of Apache OpenWhisk(翻译:范彬)

===============================================================

译者介绍:范彬,从事微服务、Docker和Kubernetes容器技术等方面的工作。可以关注译者的微信公众号:范范米饭。

原文发布时间为:2017-06-08

本文作者:范彬

本文来自云栖社区合作伙伴Dockerone.io,了解相关信息可以关注Dockerone.io。

原文标题:Apache OpenWhisk架构概述


相关文章
|
18天前
|
存储 消息中间件 Kafka
Confluent 首席架构师万字剖析 Apache Fluss(一):核心概念
Apache Fluss是由阿里巴巴与Ververica合作开发的Flink表存储引擎,旨在提供低延迟、高效率的实时数据存储与变更日志支持。其采用TabletServer与CoordinatorServer架构,结合RocksDB和列式存储,实现主键表与日志表的统一管理,并通过客户端抽象整合湖仓历史数据,弥补Paimon在实时场景下的性能短板。
227 22
Confluent 首席架构师万字剖析 Apache Fluss(一):核心概念
|
15天前
|
Dubbo Java 应用服务中间件
Apache ShenYu 架构学习指南
Apache ShenYu 是一款高性能、插件化的微服务API网关,基于Spring WebFlux + Reactor 构建,支持多协议、动态配置与实时数据同步。本指南以通俗类比和实战路径,带你深入理解其架构设计、核心流程与源码实现,助力快速掌握并参与贡献。
141 12
|
存储 Cloud Native 数据处理
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
本文整理自阿里云资深技术专家、Apache Flink PMC 成员梅源在 Flink Forward Asia 新加坡 2025上的分享,深入解析 Flink 状态管理系统的发展历程,从核心设计到 Flink 2.0 存算分离架构,并展望未来基于流批一体的通用增量计算方向。
199 0
从嵌入式状态管理到云原生架构:Apache Flink 的演进与下一代增量计算范式
|
8天前
|
存储 消息中间件 Kafka
Confluent 首席架构师万字剖析 Apache Fluss(三):湖流一体
原文:https://jack-vanlightly.com/blog/2025/9/2/understanding-apache-fluss 作者:Jack Vanlightly 翻译:Wayne Wang@腾讯 译注:Jack Vanlightly 是一位专注于数据系统底层架构的知名技术博主,他的文章以篇幅长、细节丰富而闻名。目前 Jack 就职于 Confluent,担任首席技术架构师,因此这篇 Fluss 深度分析文章,具备一定的客观参考意义。译文拆成了三篇文章,本文是第二篇。
Confluent 首席架构师万字剖析 Apache Fluss(三):湖流一体
|
8天前
|
存储 消息中间件 Kafka
Confluent 首席架构师万字剖析 Apache Fluss(二):核心架构
原文:https://jack-vanlightly.com/blog/2025/9/2/understanding-apache-fluss 作者:Jack Vanlightly 翻译:Wayne Wang@腾讯 译注:Jack Vanlightly 是一位专注于数据系统底层架构的知名技术博主,他的文章以篇幅长、细节丰富而闻名。目前 Jack 就职于 Confluent,担任首席技术架构师,因此这篇 Fluss 深度分析文章,具备一定的客观参考意义。译文拆成了三篇文章,本文是第二篇。
|
22天前
|
Java Linux 虚拟化
【Docker】(1)Docker的概述与架构,手把手带你安装Docker,云原生路上不可缺少的一门技术!
1. Docker简介 1.1 Docker是什么 为什么docker会出现? 假定您在开发一款平台项目,您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。 您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。 您的企业还拥有标准化的测试和生产环境,且具有自身的配置和一系列支持文件。 **要求:**希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销 问题: 要如何确保应用能够在这些环境中运行和通过质量检测? 在部署过程中不出现令人头疼的版本、配置问题 无需重新编写代码和进行故障修复
224 2
|
8月前
|
人工智能 运维 安全
AI 安全架构概述
AI 安全架构涵盖数据采集、模型训练、推理部署等阶段,确保安全性、隐私与合规。其核心组件包括数据层、模型层、推理层、应用层和运维层,针对数据安全威胁(如数据投毒)、模型窃取、对抗攻击及系统漏洞等风险,提出数据加密、对抗训练、联邦学习等防御策略,并强调开发前、开发中和部署后的最佳实践,以降低 AI 解决方案的安全风险。
725 13
|
7月前
|
SQL 分布式数据库 Apache
网易游戏 x Apache Doris:湖仓一体架构演进之路
网易游戏 Apache Doris 集群超 20 个 ,总节点数百个,已对接内部 200+ 项目,日均查询量超过 1500 万,总存储数据量 PB 级别。
540 3
网易游戏 x Apache Doris:湖仓一体架构演进之路
|
12月前
|
分布式计算 大数据 Apache
Apache Spark & Paimon Meetup · 北京站,助力 LakeHouse 架构生产落地
2024年11月15日13:30北京市朝阳区阿里中心-望京A座-05F,阿里云 EMR 技术团队联合 Apache Paimon 社区举办 Apache Spark & Paimon meetup,助力企业 LakeHouse 架构生产落地”线下 meetup,欢迎报名参加!
387 59

推荐镜像

更多
下一篇
开通oss服务