阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 快速学习阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

开发者学堂课程【阿里云云原生基于 RocketMQ 的轻量级流计算创新应用阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/1017/detail/15082


阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

内容介绍:

一、Apache RocketMQ 简介

一、基于 RocketMQ 的轻量级流计算创新应用

二、Apache RocketMQ 简介

1、RocketMQ 前世今生

图片1.png

Apache RocketMQ 是由阿里巴巴开源的消息产品 2016  RocketMQ 进入 Apache 孵化器,并于第二年 2017 年毕业成为 Apache 基金会顶级开源项目。

2、Apache RocketMQ 简介

设计思想:

1消息不丢、高可靠是架构的基础

2时延优先,兼顾吞吐

3收敛业务共性问题,提供丰富的业务消息类型

4注重可运维性、弹性扩缩、流量调拨能力建设

图片2.png

Apache RocketMQ 作为云原生消息中间件,是一个典型的订阅发布模式的架构,具有金融级高可靠、高性能、低延迟的特点,主要解决应用异步解耦、削峰填谷等问题,帮助企业实现高性能、高可用、可伸缩和最终一致性架构。

图片3.png

Apache RocketMQ 生态丰富,不仅完成 surpmash、surplus operator、普修斯等一系列原生热点技术的整合,同时提供了丰富的 connector 用于异构数据传输。此外与大数据产品包括 flink、spark 在内的多款产品也做了完整的集成。

图片4.png

作为业务消息领域和微服务领域的首选,RocketMQ 已经被国内75%以上的互联网、金融、物流等公司所采用,逐渐成为企业 it 架构的核心基础设施。目前包括阿里巴巴、今日头条、滴滴、快手、蚂蚁、微众银行等中大型互联网金融企业都在使用 Apache RocketMQ 。

二、基于 RocketMQ 的轻量级流计算创新应用

1、题目背景

作为数据处理领域最火的方向,实时计算已经成为当前众多开发者追随的方向,同时人们也在积极探索,如何将在线业务与数据的实时计算更好的结合起来,在避免转储的同时尽力提升数据就近计算的时效性。

RocketMQ 作为云原生的消息事件流融合处理平台,被广泛用在国内的各头部互联网,金融等企业,成为在线业务消息领域的标准,伴随着 RocketMQ 5.0 的发布,轻量级的流计算引擎 RocketMO Streams 应运而生。相比于其他的实时计算框架,RocketMO Streams 适合大数据、高过滤、轻窗口计算的场景,核心打造轻资源,高性能优势,在资源敏感场景中有很大优势,最低 1core,1g 可部署。

2、题目要求

本题目要求基于 RocketMQ 及 RocketMQ Streams 等开源产品,进行轻量级实时计算应用/解决方案开发或者创新实践,助力

RocketMQ/ RocketMQ Streams 在各领域落地。

1 边界要求: 基于 RocketMQ 生态的开源产品,符合轻量级实时计算场景;

2交付要求:参赛者需提供设计文档及最终代码,具备演示能力

3需提前学习的技术文档或视频:基于实际作品开发需求,熟悉 Apache RocketMQ 架构以及 RocketMo-Streams 框架。

3、RocketMQ Streams

图片5.png

边缘计算

真实业务

微服务业务日志

参赛者可以从以下方向或者领域进行探索,也鼓励参赛者发挥想象做更多领域的探索与创新。与边缘计算的结合可以通过 RocketMQ Streams 实时接受边缘端数据进行实时计算,比如 ETL 处理指令下发等。二与真实数据结合比如在电商场景中,基于 RocketMQ 中的交易消息数据实时统计当前成交量第三与微服务业务日志结合,通过对日志进行过滤,采集某些指标进行计算,来对当前服务的 matrix 数据结果输出,以及对异常行为进行实时告警

图片6.png

RocketMQ 资料获取

官网 https://rocketmq.apache.org/

电子书

Apache RocketMQ 公众号

视频网站

开发者交流群

题目相关的资料也比较丰富,有相关的技术书籍也可以通过官网、公众号、视频网站获取电子资料,感兴趣的同学也可以加入到社区开发者群中做进一步的交流。

阿里云技术支持社区

https://developer.aliyun.com/learning/topic/internetplus

图片7.png

命题解读

5分钟命题解读:包含命题解读、命题要求、考察要点、解题思路等

学习资料

为赛题提供相匹配技术课程、体系化学习路线提,供参赛者学习

场景动手体验

提供赛题所涉及的云产品试用与云端实验沙箱 环境供参赛者动手实操

提赛前训练营

提供针对赛题的专项培训,阿里云专家讲解,主力参赛者取得更好成绩

开发者群的订阅号和官方公众号可以过扫码添加。更多的信息可以到阿里云技术支持社区获取,包括命题解读、学习资料、场景体验、训练营等等。

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
4天前
|
安全 云栖大会 云计算
阿里云创业者计划:数字化时代的创新助推器
阿里云创业者计划助力初创企业数字化转型,提供最高100万上云抵扣金,1对1技术服务,及品牌曝光等综合支持。通过降低上云成本与技术指导,该计划旨在帮助企业在竞争中站稳脚跟,促进创新与行业发展。尽管面临审核流程及技术利用的挑战,该计划仍为创业创新提供了关键推动力。
241 4
阿里云创业者计划:数字化时代的创新助推器
|
4天前
|
Cloud Native Serverless 开发者
阿里云助力开发者创新:探索云原生技术的新境界
阿里云开发者社区推动云原生技术发展,提供丰富产品(如容器服务、Serverless、微服务架构、服务网格)与学习平台,助力企业数字化转型。开发者在此探索实践,共享资源,参与技术活动,共同创新,共创云原生技术新篇章。一起加入,开启精彩旅程!
259 2
|
4天前
|
NoSQL MongoDB 数据库
探寻MongoDB副本集选举机制 阿里云与MongoDB的DBaaS技术合作创新
阿里云连续第五年斩获MongoDB合作伙伴奖项,也是唯一获此殊荣的中国云厂商。一起学习MongoDB副本集的选举机制以及可能会出现的特殊情况。
探寻MongoDB副本集选举机制  阿里云与MongoDB的DBaaS技术合作创新
|
4天前
|
弹性计算 Cloud Native 安全
云原生架构的未来展望:如何引领企业转型与创新
【5月更文挑战第7天】随着云计算技术的不断发展,云原生架构已经成为企业数字化转型的关键驱动力。本文将深入探讨云原生架构的优势、挑战以及未来发展趋势,为企业提供一种全新的技术视角,以实现更高效、灵活和可扩展的业务运营。
|
4天前
|
人工智能 运维 Serverless
【云故事探索】NO1:看森马服饰,在阿里云上如何用AI实现创新?
在数字化转型中,云计算成为企业创新的关键驱动力。森马服饰借助阿里云函数计算,应对新零售挑战,实现业务模式重塑和效率提升。面对AI技术落地的困难,如高成本、长决策周期和复杂运维,森马通过阿里云的Serverless解决方案,快速将AI融入核心业务,优化了从设计到营销的全链条流程。通过函数计算,森马降低了AI项目初期的硬件投入和运维难题,提升了设计师的工作效率,将设计时间从3天缩短到30秒,实现了服装设计和营销的智能化升级。
|
4天前
|
数据采集 安全 测试技术
【专栏】阿里云RPA浏览器自动化插件是一款基于AI的创新工具
【4月更文挑战第29天】阿里云RPA浏览器自动化插件是一款基于AI的创新工具,能模拟浏览器操作,实现自动化业务流程,提升效率,降低成本。其特点包括强大的自动化能力、智能识别处理、灵活定制、稳定性能及安全保障。适用于数据采集、表单填写、网页测试、办公自动化和电商运营等场景,助力企业数字化转型。
|
4天前
|
存储 人工智能 边缘计算
对话阿里云佘俊泉:边缘云的持续突破和创新
2024全球分布式云大会·北京站,阿里云佘俊泉专访内容分享
52 3
|
4天前
|
NoSQL Cloud Native Redis
Redis核心开发者的新征程:阿里云与Valkey社区的技术融合与创新
阿里云瑶池数据库团队后续将持续参与Valkey社区,如过往在Redis社区一样耕耘,为开源社区作出持续贡献。
Redis核心开发者的新征程:阿里云与Valkey社区的技术融合与创新
|
4天前
|
监控 安全 物联网
阿里云mqtt简介和使用流程
本文介绍了阿里云MQTT的准备工作、简介和使用流程。首先,用户需要注册阿里云账号并完成实名认证。接着,通过阿里云物联网平台创建产品和设备,获取连接所需的Broker Address、Port、Username和Password。然后,使用MQTT客户端(如MQTTX)配置这些信息进行连接,并激活设备。最后,创建并订阅/发布自定义Topic,实现设备间的通信。阿里云MQTT是一个适用于物联网设备的轻量级通信协议,提供高并发、高可靠性的服务,广泛应用于各种物联网场景。
阿里云mqtt简介和使用流程
|
4天前
|
消息中间件 传感器 网络协议
阿里云MQTT简介和使用流程
以下是内容的摘要: 该文主要介绍了在阿里云上搭建 MQTT 服务器的步骤。首先,需要注册阿里云账号并进行实名认证。然后,购买阿里云 MQTT 实例,选择合适的类型、地域、连接和消息限制。接着,创建产品和设备,命名并上线,获取 MQTT 连接的相关信息,包括 ProductKey、DeviceName 和 DeviceSecret。通过提供的 MQTT.fx 工具,设置 MQTT 客户端连接参数,包括 Broker 地址、端口、用户名和密码。最后,使用 MQTT.fx 测试连接,实现数据的上报和接收,验证 MQTT 服务器的配置是否成功。