阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用|学习笔记

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 快速学习阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

开发者学堂课程【阿里云云原生基于 RocketMQ 的轻量级流计算创新应用阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用】学习笔记,与课程紧密联系,让用户快速学习知识。  

课程地址:https://developer.aliyun.com/learning/course/1017/detail/15082


阿里云云原生-基于 RocketMQ 的轻量级流计算创新应用

内容介绍:

一、Apache RocketMQ 简介

一、基于 RocketMQ 的轻量级流计算创新应用

二、Apache RocketMQ 简介

1、RocketMQ 前世今生

图片1.png

Apache RocketMQ 是由阿里巴巴开源的消息产品 2016  RocketMQ 进入 Apache 孵化器,并于第二年 2017 年毕业成为 Apache 基金会顶级开源项目。

2、Apache RocketMQ 简介

设计思想:

1消息不丢、高可靠是架构的基础

2时延优先,兼顾吞吐

3收敛业务共性问题,提供丰富的业务消息类型

4注重可运维性、弹性扩缩、流量调拨能力建设

图片2.png

Apache RocketMQ 作为云原生消息中间件,是一个典型的订阅发布模式的架构,具有金融级高可靠、高性能、低延迟的特点,主要解决应用异步解耦、削峰填谷等问题,帮助企业实现高性能、高可用、可伸缩和最终一致性架构。

图片3.png

Apache RocketMQ 生态丰富,不仅完成 surpmash、surplus operator、普修斯等一系列原生热点技术的整合,同时提供了丰富的 connector 用于异构数据传输。此外与大数据产品包括 flink、spark 在内的多款产品也做了完整的集成。

图片4.png

作为业务消息领域和微服务领域的首选,RocketMQ 已经被国内75%以上的互联网、金融、物流等公司所采用,逐渐成为企业 it 架构的核心基础设施。目前包括阿里巴巴、今日头条、滴滴、快手、蚂蚁、微众银行等中大型互联网金融企业都在使用 Apache RocketMQ 。

二、基于 RocketMQ 的轻量级流计算创新应用

1、题目背景

作为数据处理领域最火的方向,实时计算已经成为当前众多开发者追随的方向,同时人们也在积极探索,如何将在线业务与数据的实时计算更好的结合起来,在避免转储的同时尽力提升数据就近计算的时效性。

RocketMQ 作为云原生的消息事件流融合处理平台,被广泛用在国内的各头部互联网,金融等企业,成为在线业务消息领域的标准,伴随着 RocketMQ 5.0 的发布,轻量级的流计算引擎 RocketMO Streams 应运而生。相比于其他的实时计算框架,RocketMO Streams 适合大数据、高过滤、轻窗口计算的场景,核心打造轻资源,高性能优势,在资源敏感场景中有很大优势,最低 1core,1g 可部署。

2、题目要求

本题目要求基于 RocketMQ 及 RocketMQ Streams 等开源产品,进行轻量级实时计算应用/解决方案开发或者创新实践,助力

RocketMQ/ RocketMQ Streams 在各领域落地。

1 边界要求: 基于 RocketMQ 生态的开源产品,符合轻量级实时计算场景;

2交付要求:参赛者需提供设计文档及最终代码,具备演示能力

3需提前学习的技术文档或视频:基于实际作品开发需求,熟悉 Apache RocketMQ 架构以及 RocketMo-Streams 框架。

3、RocketMQ Streams

图片5.png

边缘计算

真实业务

微服务业务日志

参赛者可以从以下方向或者领域进行探索,也鼓励参赛者发挥想象做更多领域的探索与创新。与边缘计算的结合可以通过 RocketMQ Streams 实时接受边缘端数据进行实时计算,比如 ETL 处理指令下发等。二与真实数据结合比如在电商场景中,基于 RocketMQ 中的交易消息数据实时统计当前成交量第三与微服务业务日志结合,通过对日志进行过滤,采集某些指标进行计算,来对当前服务的 matrix 数据结果输出,以及对异常行为进行实时告警

图片6.png

RocketMQ 资料获取

官网 https://rocketmq.apache.org/

电子书

Apache RocketMQ 公众号

视频网站

开发者交流群

题目相关的资料也比较丰富,有相关的技术书籍也可以通过官网、公众号、视频网站获取电子资料,感兴趣的同学也可以加入到社区开发者群中做进一步的交流。

阿里云技术支持社区

https://developer.aliyun.com/learning/topic/internetplus

图片7.png

命题解读

5分钟命题解读:包含命题解读、命题要求、考察要点、解题思路等

学习资料

为赛题提供相匹配技术课程、体系化学习路线提,供参赛者学习

场景动手体验

提供赛题所涉及的云产品试用与云端实验沙箱 环境供参赛者动手实操

提赛前训练营

提供针对赛题的专项培训,阿里云专家讲解,主力参赛者取得更好成绩

开发者群的订阅号和官方公众号可以过扫码添加。更多的信息可以到阿里云技术支持社区获取,包括命题解读、学习资料、场景体验、训练营等等。

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
28天前
|
Cloud Native 持续交付 开发者
云原生技术在现代企业中的应用与实践####
本文深入探讨了云原生技术的核心概念及其在现代企业IT架构转型中的关键作用,通过具体案例分析展示了云原生如何促进企业的敏捷开发、高效运维及成本优化。不同于传统摘要仅概述内容,本部分旨在激发读者对云原生领域的兴趣,强调其在加速数字化转型过程中的不可或缺性,为后续详细论述奠定基础。 ####
|
1天前
|
监控 安全 Cloud Native
阿里云容器服务&云安全中心团队荣获信通院“云原生安全标杆案例”奖
2024年12月24日,阿里云容器服务团队与云安全中心团队获得中国信息通信研究院「云原生安全标杆案例」奖。
|
1天前
|
负载均衡 容灾 Cloud Native
云原生应用网关进阶:阿里云网络ALB Ingress 全能增强
在过去半年,ALB Ingress Controller推出了多项高级特性,包括支持AScript自定义脚本、慢启动、连接优雅中断等功能,增强了产品的灵活性和用户体验。此外,还推出了ingress2Albconfig工具,方便用户从Nginx Ingress迁移到ALB Ingress,以及通过Webhook服务实现更智能的配置校验,减少错误配置带来的影响。在容灾部署方面,支持了多集群网关,提高了系统的高可用性和容灾能力。这些改进旨在为用户提供更强大、更安全的云原生网关解决方案。
33 4
|
23天前
|
人工智能 缓存 异构计算
云原生AI加速生成式人工智能应用的部署构建
本文探讨了云原生技术背景下,尤其是Kubernetes和容器技术的发展,对模型推理服务带来的挑战与优化策略。文中详细介绍了Knative的弹性扩展机制,包括HPA和CronHPA,以及针对传统弹性扩展“滞后”问题提出的AHPA(高级弹性预测)。此外,文章重点介绍了Fluid项目,它通过分布式缓存优化了模型加载的I/O操作,显著缩短了推理服务的冷启动时间,特别是在处理大规模并发请求时表现出色。通过实际案例,展示了Fluid在vLLM和Qwen模型推理中的应用效果,证明了其在提高模型推理效率和响应速度方面的优势。
云原生AI加速生成式人工智能应用的部署构建
|
1天前
|
人工智能 运维 监控
阿里云Milvus产品发布:AI时代云原生专业向量检索引擎
随着大模型和生成式AI的兴起,非结构化数据市场迅速增长,预计2027年占比将达到86.8%。Milvus作为开源向量检索引擎,具备极速检索、云原生弹性及社区支持等优势,成为全球最受欢迎的向量数据库之一。阿里云推出的全托管Milvus产品,优化性能3-10倍,提供企业级功能如Serverless服务、分钟级开通、高可用性和成本降低30%,助力企业在电商、广告推荐、自动驾驶等场景下加速AI应用构建,显著提升业务价值和稳定性。
|
23天前
|
供应链 安全 Cloud Native
阿里云容器服务助力企业构建云原生软件供应链安全
本文基于2024云栖大会演讲,探讨了软件供应链攻击的快速增长趋势及对企业安全的挑战。文中介绍了如何利用阿里云容器服务ACK、ACR和ASM构建云原生软件供应链安全,涵盖容器镜像的可信生产、管理和分发,以及服务网格ASM实现应用无感的零信任安全,确保企业在软件开发和部署过程中的安全性。
|
23天前
|
人工智能 Kubernetes Cloud Native
阿里云容器服务,智算时代云原生操作系统
2024云栖大会,阿里巴巴研究员易立分享了阿里云容器服务的最新进展。容器技术已成为云原生操作系统的基石,支持多样化的应用场景,如自动驾驶、AI训练等。阿里云容器服务覆盖公共云、边缘云、IDC,提供统一的基础设施,助力客户实现数字化转型和技术创新。今年,阿里云在弹性计算、网络优化、存储解决方案等方面进行了多项重要升级,进一步提升了性能和可靠性。
|
25天前
|
运维 Cloud Native 应用服务中间件
阿里云微服务引擎 MSE 及 云原生 API 网关 2024 年 11 月产品动态
阿里云微服务引擎 MSE 面向业界主流开源微服务项目, 提供注册配置中心和分布式协调(原生支持 Nacos/ZooKeeper/Eureka )、云原生网关(原生支持Higress/Nginx/Envoy,遵循Ingress标准)、微服务治理(原生支持 Spring Cloud/Dubbo/Sentinel,遵循 OpenSergo 服务治理规范)能力。API 网关 (API Gateway),提供 APl 托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等 API 生命周期阶段。帮助您快速构建以 API 为核心的系统架构.满足新技术引入、系统集成、业务中台等诸多场景需要
|
3月前
|
消息中间件 JSON Java
开发者如何使用轻量消息队列MNS
【10月更文挑战第19天】开发者如何使用轻量消息队列MNS
141 6
|
3月前
|
消息中间件 安全 Java
云消息队列RabbitMQ实践解决方案评测
一文带你详细了解云消息队列RabbitMQ实践的解决方案优与劣
107 10