阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 快速学习阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

开发者学堂课程【阿里云云原生基于 RocketMQ 的轻量级流计算创新应用阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/1017/detail/15082


阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

内容介绍:

一、Apache RocketMQ 简介

一、基于 RocketMQ 的轻量级流计算创新应用

二、Apache RocketMQ 简介

1、RocketMQ 前世今生

图片1.png

Apache RocketMQ 是由阿里巴巴开源的消息产品 2016  RocketMQ 进入 Apache 孵化器,并于第二年 2017 年毕业成为 Apache 基金会顶级开源项目。

2、Apache RocketMQ 简介

设计思想:

1消息不丢、高可靠是架构的基础

2时延优先,兼顾吞吐

3收敛业务共性问题,提供丰富的业务消息类型

4注重可运维性、弹性扩缩、流量调拨能力建设

图片2.png

Apache RocketMQ 作为云原生消息中间件,是一个典型的订阅发布模式的架构,具有金融级高可靠、高性能、低延迟的特点,主要解决应用异步解耦、削峰填谷等问题,帮助企业实现高性能、高可用、可伸缩和最终一致性架构。

图片3.png

Apache RocketMQ 生态丰富,不仅完成 surpmash、surplus operator、普修斯等一系列原生热点技术的整合,同时提供了丰富的 connector 用于异构数据传输。此外与大数据产品包括 flink、spark 在内的多款产品也做了完整的集成。

图片4.png

作为业务消息领域和微服务领域的首选,RocketMQ 已经被国内75%以上的互联网、金融、物流等公司所采用,逐渐成为企业 it 架构的核心基础设施。目前包括阿里巴巴、今日头条、滴滴、快手、蚂蚁、微众银行等中大型互联网金融企业都在使用 Apache RocketMQ 。

二、基于 RocketMQ 的轻量级流计算创新应用

1、题目背景

作为数据处理领域最火的方向,实时计算已经成为当前众多开发者追随的方向,同时人们也在积极探索,如何将在线业务与数据的实时计算更好的结合起来,在避免转储的同时尽力提升数据就近计算的时效性。

RocketMQ 作为云原生的消息事件流融合处理平台,被广泛用在国内的各头部互联网,金融等企业,成为在线业务消息领域的标准,伴随着 RocketMQ 5.0 的发布,轻量级的流计算引擎 RocketMO Streams 应运而生。相比于其他的实时计算框架,RocketMO Streams 适合大数据、高过滤、轻窗口计算的场景,核心打造轻资源,高性能优势,在资源敏感场景中有很大优势,最低 1core,1g 可部署。

2、题目要求

本题目要求基于 RocketMQ 及 RocketMQ Streams 等开源产品,进行轻量级实时计算应用/解决方案开发或者创新实践,助力

RocketMQ/ RocketMQ Streams 在各领域落地。

1 边界要求: 基于 RocketMQ 生态的开源产品,符合轻量级实时计算场景;

2交付要求:参赛者需提供设计文档及最终代码,具备演示能力

3需提前学习的技术文档或视频:基于实际作品开发需求,熟悉 Apache RocketMQ 架构以及 RocketMo-Streams 框架。

3、RocketMQ Streams

图片5.png

边缘计算

真实业务

微服务业务日志

参赛者可以从以下方向或者领域进行探索,也鼓励参赛者发挥想象做更多领域的探索与创新。与边缘计算的结合可以通过 RocketMQ Streams 实时接受边缘端数据进行实时计算,比如 ETL 处理指令下发等。二与真实数据结合比如在电商场景中,基于 RocketMQ 中的交易消息数据实时统计当前成交量第三与微服务业务日志结合,通过对日志进行过滤,采集某些指标进行计算,来对当前服务的 matrix 数据结果输出,以及对异常行为进行实时告警

图片6.png

RocketMQ 资料获取

官网 https://rocketmq.apache.org/

电子书

Apache RocketMQ 公众号

视频网站

开发者交流群

题目相关的资料也比较丰富,有相关的技术书籍也可以通过官网、公众号、视频网站获取电子资料,感兴趣的同学也可以加入到社区开发者群中做进一步的交流。

阿里云技术支持社区

https://developer.aliyun.com/learning/topic/internetplus

图片7.png

命题解读

5分钟命题解读:包含命题解读、命题要求、考察要点、解题思路等

学习资料

为赛题提供相匹配技术课程、体系化学习路线提,供参赛者学习

场景动手体验

提供赛题所涉及的云产品试用与云端实验沙箱 环境供参赛者动手实操

提赛前训练营

提供针对赛题的专项培训,阿里云专家讲解,主力参赛者取得更好成绩

开发者群的订阅号和官方公众号可以过扫码添加。更多的信息可以到阿里云技术支持社区获取,包括命题解读、学习资料、场景体验、训练营等等。

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
2月前
|
人工智能 安全 Cloud Native
阿里云云原生安全能力全线升级,护航百万客户云上安全
【重磅发布】9月20日,在杭州云栖大会上,阿里云宣布云原生安全能力全线升级,首次发布云原生网络检测与响应产品NDR(Network Detection Response,简称NDR)。同时,阿里云还宣布将持续增加免费的安全防护能力,帮助中小企业客户以极低投入完成基础的云上安全风险治理。
173 15
|
10天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 10 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
1月前
|
运维 Cloud Native 数据可视化
阿里云云原生应用组装平台BizWorks满分通过最新评估
阿里云BizWorks满分通过《基于云计算的业务组装平台能力成熟度模型》评测,获得优秀级(最高等级),广东移动联合阿里云BizWorks团队开展的组装式应用实践获得第三届“鼎新杯”数字化转型应用优秀案例一等奖。
190 3
|
1月前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 09 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
1月前
|
人工智能 自然语言处理 关系型数据库
阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成
近日,阿里云云原生数据仓库 AnalyticDB PostgreSQL 版已完成和开源LLMOps平台Dify官方集成。
|
27天前
|
运维 Cloud Native 持续交付
云原生技术解析:从IO出发,以阿里云原生为例
【10月更文挑战第24天】随着互联网技术的不断发展,传统的单体应用架构逐渐暴露出扩展性差、迭代速度慢等问题。为了应对这些挑战,云原生技术应运而生。云原生是一种利用云计算的优势,以更灵活、可扩展和可靠的方式构建和部署应用程序的方法。它强调以容器、微服务、自动化和持续交付为核心,旨在提高开发效率、增强系统的灵活性和可维护性。阿里云作为国内领先的云服务商,在云原生领域有着深厚的积累和实践。
52 0
|
2月前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
针对软件供应链的攻击事件在以每年三位数的速度激增,其中三方或开源软件已经成为攻击者关注的重要目标,其攻击方式和技术也在不断演进。通过供应链的传播,一个底层软件包的漏洞的影响范围可以波及世界。企业亟需更加标准和完善的供应链风险洞察和防护机制。本文将结合最佳实践的形式,面向容器应用完整的生命周期展示如何基于容器服务ACK/ACR/ASM助力企业构建云原生软件供应链安全。
|
2月前
|
人工智能 Kubernetes Cloud Native
阿里云容器服务,智算时代云原生操作系统
今年是Kubernetes十周年,在这10年间。我们已经看到其成长为云原生操作系统,向下高效调度多种算力资源,屏蔽基础设施差异,向上提供统一编程接口,支持多样化工作负载。阿里云容器服务产品已经覆盖了从公共云、边缘云、到本地数据中心的各个场景。让所有需要云能力的地方,都有统一的容器基础设施。
阿里云容器服务,智算时代云原生操作系统
|
2月前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 08 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
2月前
|
人工智能 Kubernetes Cloud Native
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势
深度对话 解锁阿里云分布式云原生技术落地新姿势