开发者学堂课程【阿里云云原生基于 RocketMQ 的轻量级流计算创新应用:阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/1017/detail/15082
阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用
内容介绍:
一、Apache RocketMQ 简介
一、基于 RocketMQ 的轻量级流计算创新应用
二、Apache RocketMQ 简介
1、RocketMQ 前世今生
Apache RocketMQ 是由阿里巴巴开源的消息产品 2016 年 RocketMQ 进入 Apache 孵化器,并于第二年 2017 年毕业,成为 Apache 基金会顶级开源项目。
2、Apache RocketMQ 简介
设计思想:
(1)消息不丢、高可靠是架构的基础
(2)时延优先,兼顾吞吐
(3)收敛业务共性问题,提供丰富的业务消息类型
(4)注重可运维性、弹性扩缩、流量调拨能力建设
Apache RocketMQ 作为云原生消息中间件,是一个典型的订阅发布模式的架构,具有金融级高可靠、高性能、低延迟的特点,主要解决应用异步解耦、削峰填谷等问题,帮助企业实现高性能、高可用、可伸缩和最终一致性架构。
Apache RocketMQ 生态丰富,不仅完成 surpmash、surplus operator、普修斯等一系列原生热点技术的整合,同时提供了丰富的 connector 用于异构数据传输。此外与大数据产品包括 flink、spark 在内的多款产品也做了完整的集成。
作为业务消息领域和微服务领域的首选,RocketMQ 已经被国内75%以上的互联网、金融、物流等公司所采用,逐渐成为企业 it 架构的核心基础设施。目前包括阿里巴巴、今日头条、滴滴、快手、蚂蚁、微众银行等中大型互联网金融企业都在使用 Apache RocketMQ 。
二、基于 RocketMQ 的轻量级流计算创新应用
1、题目背景
作为数据处理领域最火的方向,实时计算已经成为当前众多开发者追随的方向,同时人们也在积极探索,如何将在线业务与数据的实时计算更好的结合起来,在避免转储的同时尽力提升数据就近计算的时效性。
RocketMQ 作为云原生的消息事件流融合处理平台,被广泛用在国内的各头部互联网,金融等企业,成为在线业务消息领域的标准,伴随着 RocketMQ 5.0 的发布,轻量级的流计算引擎 RocketMO Streams 应运而生。相比于其他的实时计算框架,RocketMO Streams 适合大数据、高过滤、轻窗口计算的场景,核心打造轻资源,高性能优势,在资源敏感场景中有很大优势,最低 1core,1g 可部署。
2、题目要求
本题目要求基于 RocketMQ 及 RocketMQ Streams 等开源产品,进行轻量级实时计算应用/解决方案开发或者创新实践,助力
RocketMQ/ RocketMQ Streams 在各领域落地。
(1) 边界要求: 基于 RocketMQ 生态的开源产品,符合轻量级实时计算场景;
(2)交付要求:参赛者需提供设计文档及最终代码,具备演示能力
(3)需提前学习的技术文档或视频:基于实际作品开发需求,熟悉 Apache RocketMQ 架构以及 RocketMo-Streams 框架。
3、RocketMQ Streams
边缘计算
真实业务
微服务业务日志
参赛者可以从以下方向或者领域进行探索,也鼓励参赛者发挥想象做更多领域的探索与创新。与边缘计算的结合可以通过 RocketMQ Streams 实时接受边缘端数据进行实时计算,比如 ETL 处理指令下发等。二与真实数据结合比如在电商场景中,基于 RocketMQ 中的交易消息数据实时统计当前成交量。第三与微服务业务日志结合,通过对日志进行过滤,采集某些指标进行计算,来对当前服务的 matrix 数据结果输出,以及对异常行为进行实时告警。
RocketMQ 资料获取
官网 https://rocketmq.apache.org/
电子书
Apache RocketMQ 公众号
视频网站
开发者交流群
题目相关的资料也比较丰富,有相关的技术书籍也可以通过官网、公众号、视频网站获取电子资料,感兴趣的同学也可以加入到社区开发者群中做进一步的交流。
阿里云技术支持社区
https://developer.aliyun.com/learning/topic/internetplus
命题解读
5分钟命题解读:包含命题解读、命题要求、考察要点、解题思路等
学习资料
为赛题提供相匹配技术课程、体系化学习路线提,供参赛者学习
场景动手体验
提供赛题所涉及的云产品试用与云端实验沙箱 环境供参赛者动手实操
提赛前训练营
提供针对赛题的专项培训,阿里云专家讲解,主力参赛者取得更好成绩
开发者群的订阅号和官方公众号可以过扫码添加。更多的信息可以到阿里云技术支持社区获取,包括命题解读、学习资料、场景体验、训练营等等。