阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用|学习笔记

简介: 快速学习阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

开发者学堂课程【阿里云云原生基于 RocketMQ 的轻量级流计算创新应用:阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/1017/detail/15082


阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

内容介绍:

一、Apache RocketMQ 简介

一、基于 RocketMQ 的轻量级流计算创新应用

二、Apache RocketMQ 简介

1、RocketMQ 前世今生

图片1.png

Apache RocketMQ 是由阿里巴巴开源的消息产品 2016 年 RocketMQ 进入 Apache 孵化器,并于第二年 2017 年毕业,成为 Apache 基金会顶级开源项目。

2、Apache RocketMQ 简介

设计思想:

(1)消息不丢、高可靠是架构的基础

(2)时延优先,兼顾吞吐

(3)收敛业务共性问题,提供丰富的业务消息类型

(4)注重可运维性、弹性扩缩、流量调拨能力建设

图片2.png

Apache RocketMQ 作为云原生消息中间件,是一个典型的订阅发布模式的架构,具有金融级高可靠、高性能、低延迟的特点,主要解决应用异步解耦、削峰填谷等问题,帮助企业实现高性能、高可用、可伸缩和最终一致性架构。

图片3.png

Apache RocketMQ 生态丰富,不仅完成 surpmash、surplus operator、普修斯等一系列原生热点技术的整合,同时提供了丰富的 connector 用于异构数据传输。此外与大数据产品包括 flink、spark 在内的多款产品也做了完整的集成。

图片4.png

作为业务消息领域和微服务领域的首选,RocketMQ 已经被国内75%以上的互联网、金融、物流等公司所采用,逐渐成为企业 it 架构的核心基础设施。目前包括阿里巴巴、今日头条、滴滴、快手、蚂蚁、微众银行等中大型互联网金融企业都在使用 Apache RocketMQ 。

二、基于 RocketMQ 的轻量级流计算创新应用

1、题目背景

作为数据处理领域最火的方向,实时计算已经成为当前众多开发者追随的方向,同时人们也在积极探索,如何将在线业务与数据的实时计算更好的结合起来,在避免转储的同时尽力提升数据就近计算的时效性。

RocketMQ 作为云原生的消息事件流融合处理平台,被广泛用在国内的各头部互联网,金融等企业,成为在线业务消息领域的标准,伴随着 RocketMQ 5.0 的发布,轻量级的流计算引擎 RocketMO Streams 应运而生。相比于其他的实时计算框架,RocketMO Streams 适合大数据、高过滤、轻窗口计算的场景,核心打造轻资源,高性能优势,在资源敏感场景中有很大优势,最低 1core,1g 可部署。

2、题目要求

本题目要求基于 RocketMQ 及 RocketMQ Streams 等开源产品,进行轻量级实时计算应用/解决方案开发或者创新实践,助力

RocketMQ/ RocketMQ Streams 在各领域落地。

(1) 边界要求: 基于 RocketMQ 生态的开源产品,符合轻量级实时计算场景;

(2)交付要求:参赛者需提供设计文档及最终代码,具备演示能力

(3)需提前学习的技术文档或视频:基于实际作品开发需求,熟悉 Apache RocketMQ 架构以及 RocketMo-Streams 框架。

3、RocketMQ Streams

图片5.png

边缘计算

真实业务

微服务业务日志

参赛者可以从以下方向或者领域进行探索,也鼓励参赛者发挥想象做更多领域的探索与创新。与边缘计算的结合可以通过 RocketMQ Streams 实时接受边缘端数据进行实时计算,比如 ETL 处理指令下发等。二与真实数据结合比如在电商场景中,基于 RocketMQ 中的交易消息数据实时统计当前成交量。第三与微服务业务日志结合,通过对日志进行过滤,采集某些指标进行计算,来对当前服务的 matrix 数据结果输出,以及对异常行为进行实时告警。

图片6.png

RocketMQ 资料获取

官网 https://rocketmq.apache.org/

电子书

Apache RocketMQ 公众号

视频网站

开发者交流群

题目相关的资料也比较丰富,有相关的技术书籍也可以通过官网、公众号、视频网站获取电子资料,感兴趣的同学也可以加入到社区开发者群中做进一步的交流。

阿里云技术支持社区

https://developer.aliyun.com/learning/topic/internetplus

图片7.png

命题解读

5分钟命题解读:包含命题解读、命题要求、考察要点、解题思路等

学习资料

为赛题提供相匹配技术课程、体系化学习路线提,供参赛者学习

场景动手体验

提供赛题所涉及的云产品试用与云端实验沙箱 环境供参赛者动手实操

提赛前训练营

提供针对赛题的专项培训,阿里云专家讲解,主力参赛者取得更好成绩

开发者群的订阅号和官方公众号可以过扫码添加。更多的信息可以到阿里云技术支持社区获取,包括命题解读、学习资料、场景体验、训练营等等。

相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
消息中间件 存储 Serverless
【实践】快速学会使用阿里云消息队列RabbitMQ版
云消息队列 RabbitMQ 版是一款基于高可用分布式存储架构实现的 AMQP 0-9-1协议的消息产品。云消息队列 RabbitMQ 版兼容开源 RabbitMQ 客户端,解决开源各种稳定性痛点(例如消息堆积、脑裂等问题),同时具备高并发、分布式、灵活扩缩容等云消息服务优势。
606 2
|
消息中间件 安全 API
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
986 1
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(1)
|
物联网
(手把手)在华为云、阿里云搭建自己的物联网MQTT消息服务器,免费IOT平台
本文介绍如何在阿里云搭建自己的物联网MQTT消息服务器,并使用 “MQTT客户端调试工具”模拟MQTT设备,接入平台进行消息收发。
4203 42
|
消息中间件 安全 Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(2)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
761 0
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(2)
|
消息中间件 存储 Cloud Native
基于 RocketMQ 的云原生 MQTT 消息引擎设计
本文将介绍阿里云如何将 Serverless 架构应用于消息队列,有效降低运营成本,同时利用云原生环境的特性,为 IoT 设备提供快速响应和灵活伸缩的通讯能力。
801 136
|
消息中间件 存储 Cloud Native
基于 RocketMQ 的云原生 MQTT 消息引擎设计
基于 RocketMQ 的云原生 MQTT 消息引擎设计
822 1
|
消息中间件 弹性计算 运维
阿里云云消息队列RabbitMQ实践解决方案评测报告
阿里云云消息队列RabbitMQ实践解决方案评测报告
409 9
|
消息中间件 Apache 数据安全/隐私保护
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(3)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
427 0
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(3)
|
消息中间件 数据管理 Serverless
阿里云消息队列 Apache RocketMQ 创新论文入选顶会 ACM FSE 2025
阿里云消息团队基于 Apache RocketMQ 构建 Serverless 消息系统,适配多种主流消息协议(如 RabbitMQ、MQTT 和 Kafka),成功解决了传统中间件在可伸缩性、成本及元数据管理等方面的难题,并据此实现 ApsaraMQ 全系列产品 Serverless 化,助力企业提效降本。
|
消息中间件 Java Kafka
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ
本文深入解析了 Kafka 和 RabbitMQ 两大主流消息队列在 Spring 微服务中的应用与对比。内容涵盖消息队列的基本原理、Kafka 与 RabbitMQ 的核心概念、各自优势及典型用例,并结合 Spring 生态的集成方式,帮助开发者根据实际需求选择合适的消息中间件,提升系统解耦、可扩展性与可靠性。
804 1
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ