基于 ASK + EB 构建容器事件驱动服务

本文涉及的产品
Serverless 应用引擎 SAE,800核*时 1600GiB*时
容器镜像服务 ACR,镜像仓库100个 不限时长
EMR Serverless StarRocks,5000CU*H 48000GB*H
简介: 本篇文章以“在线文件解压场景”为例为大家展示经典 EDA 事件驱动与容器如何搭配使用。

作者:冬岛、肯梦


导读


EDA 事件驱动架构( Event-Driven Architecture ) 是一种系统架构模型,它的核心能力在于能够发现系统“事件”或重要的业务时刻(例如交易节点、站点访问等)并实时或接近实时地对相应的事件采取必要行动。那么 EDA + 容器能擦出怎样的火花呢?本篇文章将带领大家一起在云上借助 ASK 容器服务 + EB 能力构建一套完整的事件驱动架构。


本篇文章以“在线文件解压场景”为例为大家展示经典 EDA 事件驱动与容器如何搭配使用。


关注【Apache RocketMQ】公众号,获取更多相关信息!


服务架构


在线文件解压以 EB OSS 事件通知为驱动点,架构方案如下:

1.png


EDA 架构的核心是对事件的应用,OSS 事件默认可以通过云服务总线完成采集,自定义通知事件。本场景是通过 EventBridge 把 OSS 上传文件的事件实时传递给 ASK 中的服务,然后 ASK 中的服务对上传的 ZIP 文件进行下载、解压和再次回传到 OSS。


用到的云服务:


  • ASK:Serverless 容器服务是一款基于阿里云弹性计算基础架构,同时完全兼容 Kubernetes 生态,安全、可靠的容器产品。


  • EB:EventBridge 事件总线是一款无服务器事件总线服务,支持阿里云服务、自定义应用、SaaS 应用的事件接入,适用于轻松构建松耦合、分布式的事件驱动架构。


  • OSS:对象存储服务,提供海量、安全、低成本、高可靠的云存储服务。


场景实践


OSS、ASK 以及 EventBridge 三个云产品的操作步骤如下:


OSS 资源配置


  • 在 OSS 控制台创建相关地域的 Bucket,并记住 Bucket 路径信息。


2.png


image.gifzip:放置需要解压的zip包


unzip:放置解压后的文件


  • 创建一个可以操作 OSS  文件的用户,并生成 ak/sk 。


打开 RAM 控制台[1],点击「创建用户」。


3.png

image.gif

  • 输入「登陆名称」和「显示名称」并勾选 「Open API 调用访问」然后点击确定即可创建一个用户身份。


4.png

image.gif

  • 创建好账号以后再打开 RAM 控制台[1]能看到刚才创建的账号信息。


image.gif5.png


  • 点击账号名称,然后来到账号详情页面。点击「创建 AccessKey」。


6.png

image.gif

  • 然后就能生成 ak、sk 信息,如下所示。保存这两个关键信息,后面配置 ask 解压服务的时候需要使用,也可以点击「下载 CSV 文件」的方式下载下来保存。


7.png

image.gif

  • 有了 ask sk 还不行,要能访问 OSS 服务,还需要给这个子账号授予 OSS 的操作权限,点击「权限管理」。


8.png


  • 点击「添加权限」。


9.png


  • 在 「系统策略」中输入 OSS,然后勾选「AliyunOSSFullAccess」,点击确定即可完成对 OSS 的访问授权。


10.png


ASK 资源配置及代码解析


ASK(Serverless Kubernetes) 运行应用程序用于接受来自 EventBridge 发过来的关于 OSS 的事件,所以您首先需要创建一个 ASK 集群,然后部署解压服务。


1)创建 ASK 集群


  • 打开容器服务控制台[2]点击右上角的创建集群


11.png

image.gif

  • 选择 ASK 集群


填写集群名称,勾选最下面的《服务协议》,其他都使用默认配置然后就可以创建一个集群出来。


12.png

image.gif

  • 点击右上角的创建,开始创建集群。


13.png

image.gif

  • 弹出确认创建,确认没问题以后点击「确定」 即可开始创建。


14.png

image.gif

  • 等几分钟后集群即可创建完成。


15.png

image.gif

如果创建集群过程中遇到问题,可参考创建集群文档[3]解决,也可以通过群号 31544226 加钉钉群找答疑解决。


2)部署解压服务


  • 集群部署成功以后点击容器服务页面[4]可以看到刚刚创建的集群,然后点击集群名称调转到集群详情页面;


image.gif16.png


  • 在集群详情页面点击 「工作负载」中的「无状态」可以通过提交解压服务 YAML 的方式创建 Deployment 和 Service


17.png

image.gif

  • 点击右上角的「使用 YAML 创建资源」


image.gif18.png

19.png


  • 把下面的 YAML 内容提交上去,注意 OSS_ACCESSKEYID 和 OSS_ACCESSKEYSECRET 这两个环境变量需要设置成你的 ak、sk,并且需要有从 OSS 下载、上传文件的权限。然后点击创建,即可完成服务的创建。


---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: eb-ask-demo
spec:
  selector:
    matchLabels:
      app: eb-ask-demo
  template:
    metadata:
      labels:
        app: eb-ask-demo
    spec:
      containers:
      - name: eb-ask-demo
        image: "registry.cn-hangzhou.aliyuncs.com/kubeway/demo-ossunzip:v0.0.1-20211218152144_master_37323b1"
        resources:
          limits:
            memory: "128Mi"
            cpu: "500m"
        ports:
        - containerPort: 8080
        env:
        - name: OSS_ACCESSKEYID
          value: "ak"
        - name: OSS_ACCESSKEYSECRET
          value: "sk"
        - name: OSS_ENDPOINT
          value: "oss-cn-hangzhou.aliyuncs.com"


  • 解压服务源代码可在 github[5] 获取。


3)获取到服务暴露 URL  


  • 服务部署好以后点击「网络」中的「服务」即可看到 eb-ask-demo 这个 Service,然后能看到 「外部端点」的地址。「外部端点」地址就是解压服务的地址,全路径是 http://121.43.97.107/unzip  


20.png

image.gif

EB 资源配置


EB 总线分为云服务总线和自定义总线,云服务总线用于接受云服务事件 E.g. OSS ,自定义总线用于接受自定义事件 E.g. 解压完成信息。


  • 配置云服务总线


21.png

image.gif

  • 配置事件模式,事件模式即事件的筛选规则,需认真配置,否则会造成循环触发。


更多事件模式说明[6]参考文末更多链接。


image.gif22.png


{
    "source": [
        "acs.oss"
    ],
    "type": [
        "oss:ObjectCreated:PostObject",
        "oss:ObjectCreated:UploadPart",
        "oss:ObjectCreated:PutObject",
        "oss:ObjectCreated:UploadPartCopy",
        "oss:ObjectCreated:InitiateMultipartUpload",
        "oss:ObjectCreated:AppendObject",
        "oss:ObjectCreated:CompleteMultipartUpload"
    ],
    "subject": [
        {
            "suffix": ".zip"
        }
    ],
    "data": {
        "oss": {
            "bucket": {
                "name": [
                    "eb-ask"
                ]
            },
            "object": {
                "key": [
                    {
                        "prefix": "zip/"
                    }
                ]
            }
        }
    }
}


  • 填写 ASK 暴露的 URL 地址(http://121.43.97.107/unzip ),点击完成即可完成总线配置。


23.png


效果验证


服务已经准备好了,现在找一个 zip 文件上传到 OSS 就能看到效果了。上传一个 zip 文件到 zip 目录以后应该能在 unzip 目录中看到解压后的文件。


  • 准备 zip 文件


您可以创建一个文本文件,然后压缩成 zip 格式。或者可以打开我们的示例程序Github 工程[7],下载此工程源码的 zip 文件,可以直接获得一个 zip 文件。


24.png


  • 上传 zip 文件


打开 OSS 控制台[8] ,选择配置好的 bucket,进入 zip 目录。
image.gif

  • 点击「上传文件」。


26.png

image.gif

  • 点击「扫描文件」,然后找到刚才下载的 zip 文件。


27.png

image.gif

  • 选择刚才下载的 zip 文件。


28.png

image.gif

  • 点击「上传文件」。


29.png

image.gif

  • 文件很快就上传成功。


30.png

image.gif

  • 现在打开 unzip 目录能看到解压后的文件已经上传上来了。


31.png

image.gif

  • 现在打开 EventBridge 控制台[9]查看事件轨迹。选择查看最近 5 分钟的事件。


32.png


  • 点击「事件轨迹」 能看到事件是通过 EventBridge 成功投递到了 ASK 暴露的解压服务上。


33.png

优势及总结


  • 基于该方案的事件驱动架构场景是高度松耦合且高度分布式的架构模型,事件的创建者(来源)只知道发生的事件,并不知道事件的处理方式,也不需要关心有多少相关方订阅该事件。


  • ASK + EB 可解决业务层大部分容器事件驱动的场景,通过 EB 解耦并针对具体事件进行分发。通过松耦合架构快速且灵活的上线业务组件,为企业提供更敏捷高效的容器业务部署方案。


参考资料


[1] RAM 控制台:

https://ram.console.aliyun.com/users


[2] 容器服务控制台

https://cs.console.aliyun.com/


[3] 创建集群文档

https://help.aliyun.com/document_detail/86377.htm?spm=a2c4g.11186623.0.0.350f3e068qu6bW#task-e3c-311-ydb


[4] 容器服务页面

https://cs.console.aliyun.com/#/k8s/cluster/list


[5] github

https://github.com/AliyunContainerService/serverless-k8s-examples/oss-unzip


[6] 更多事件模式说明:

https://help.aliyun.com/document_detail/181432.html


[7] 示例程序 Github 工程

https://github.com/AliyunContainerService/serverless-k8s-examples


[8] OSS 控制台

https://oss.console.aliyun.com/ 


[9] EventBridge 控制台

https://eventbridge.console.aliyun.com 


[10] zip 解压源代码

https://github.com/AliyunContainerService/serverless-k8s-examples/tree/master/oss-unzip


相关实践学习
巧用云服务器ECS制作节日贺卡
本场景带您体验如何在一台CentOS 7操作系统的ECS实例上,通过搭建web服务器,上传源码到web容器,制作节日贺卡网页。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
相关文章
|
25天前
|
测试技术 API Docker
使用ruri快速构建跨架构chroot容器
【8月更文挑战第22天】本指南介绍如何使用 ruri 工具快速构建跨架构 chroot 容器。首先需安装 ruri,并确保系统满足安装要求。接着确定目标架构(如从 x86 到 ARM),并准备好相应的工具链和依赖库。利用 ruri 的命令行工具启动容器构建流程,指定源与目标架构及基础镜像。构建完成后可进一步配置和定制容器,安装所需软件包与调整系统设置。随后通过运行测试用例验证容器功能,解决发现的问题。最后将测试合格的容器部署至生产环境,利用容器管理工具进行管理和运行。在整个过程中要注意架构间的差异与兼容性问题,并确保系统环境稳定,定期更新 ruri 和相关组件。
|
19天前
|
Cloud Native 持续交付 Docker
云原生入门指南:构建你的首个容器化应用
【8月更文挑战第30天】云原生技术,作为现代软件开发的风向标,正在改变我们构建、部署和管理应用程序的方式。本篇文章将引导你了解云原生的核心概念,并通过一个简单的代码示例,展示如何将传统应用转变为容器化的云原生应用。无论你是新手开发者还是希望扩展知识的IT专业人士,这篇文章都将是你探索云原生世界的起点。
|
21天前
|
运维 Kubernetes 监控
容器服务ASK初评
【8月更文挑战第12天】容器服务ASK初评
67 2
|
30天前
|
缓存 开发者 Docker
Dockerfile是Docker容器化过程中的核心组件,它允许开发者以一种可重复、可移植的方式自动化地构建Docker镜像
【8月更文挑战第19天】Dockerfile是构建Docker镜像的脚本文件,含一系列指令定义镜像构建步骤。每条大写指令后跟至少一个参数,按序执行,每执行一条指令即生成新的镜像层。常用指令包括:FROM指定基础镜像;RUN执行构建命令;EXPOSE开放端口;CMD指定容器启动行为等。优化策略涉及减少镜像层数、选择轻量基础镜像、利用缓存及清理冗余文件。示例:基于Python应用的Dockerfile包括设置工作目录、复制文件、安装依赖等步骤。掌握Dockerfile有助于高效自动化构建镜像,加速应用部署。
22 1
|
1月前
|
运维 监控 Devops
构建高效自动化运维体系:DevOps与容器化实践
【7月更文挑战第44天】在现代IT基础设施管理中,自动化运维已成为提升效率、降低成本、确保系统稳定性的关键。本文将探讨如何通过结合DevOps理念和容器化技术来构建一个高效的自动化运维体系。我们将分析这一体系对提高软件交付速度、优化资源利用率以及增强系统可靠性的积极影响,并提供一系列实施策略和最佳实践,帮助企业实现运维自动化转型。
|
1月前
|
弹性计算 Kubernetes 开发者
利用容器化服务实现游戏服务器的动态资源配置
【8月更文第12天】在游戏行业中,用户基数的变化往往呈现出明显的波动性,特别是在推广活动期间,用户基数会显著增加,而在非推广期则会有所下降。为了应对这种变化,游戏开发者需要一种能够根据用户基数动态调整服务器资源的解决方案,以确保用户体验的同时最大限度地节省成本。容器化服务因其灵活的资源管理和成本控制能力,成为了理想的解决方案。
35 2
|
1月前
|
存储 Kubernetes 调度
通过重新构建Kubernetes来实现更具弹性的容器编排系统
通过重新构建Kubernetes来实现更具弹性的容器编排系统
49 8
|
17天前
|
容器 iOS开发 Linux
震惊!Uno Platform 响应式 UI 构建秘籍大公开!从布局容器到自适应设计,带你轻松打造跨平台完美界面
【8月更文挑战第31天】Uno Platform 是一款强大的跨平台应用开发框架,支持 Web、桌面(Windows、macOS、Linux)及移动(iOS、Android)等平台,仅需单一代码库。本文分享了四个构建响应式用户界面的最佳实践:利用布局容器(如 Grid)适配不同屏幕尺寸;采用自适应布局调整 UI;使用媒体查询定制样式;遵循响应式设计原则确保 UI 元素自适应调整。通过这些方法,开发者可以为用户提供一致且优秀的多设备体验。
31 0
|
20天前
|
缓存 资源调度 Kubernetes
阿里云云效产品使用合集之如何将两个独立的代码仓库构建并部署到同一个容器内
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。
|
22天前
|
运维 监控 Devops
构建高效稳定的云基础设施:DevOps与容器化技术融合实践
【7月更文挑战第58天】 在当今的软件开发领域,"DevOps"和"容器化"已成为提升项目交付速度、确保环境一致性以及实现持续集成和持续部署(CI/CD)的关键策略。本文深入探讨了如何将DevOps理念与容器化技术相结合,以构建一个既高效又稳定的云基础设施。通过分析现代运维的挑战,我们提出了一套实践方案,并讨论了该方案在现实环境中的具体应用及潜在益处。文章不仅为读者提供了理论指导,还分享了来自一线实践的经验教训,旨在帮助组织优化其云基础设施管理,提高业务竞争力。