发力IOT、大数据,Apache RocketMQ 构建云时代的新生态

简介: 摘要2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。

摘要

2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。嘉宾们详尽解读了RocketMQ的使用方式、概念模型、分布式事务等关键机制与原理,深入探讨了RocketMQ在大数据及IOT方面的生态布局、落地实践,并分享了在使用RocketMQ方面的经验以及从Kafka迁移到RocketMQ的具体方案。

11.jpg | center | 747x498

Apache RocketMQ Contributor 丁磊和阿里巴巴高级技术专家林佳梁作为主持人开场致辞,介绍了开发者沙龙的日程,回顾了RocketMQ的发展历程,同时介绍了OpenMessaging标准。OpenMessaging项目是由阿里巴巴发起,联合滴滴出行、雅虎、Streamlio等公司共同参与创立的国际消息标准,2017年10月14日宣布正式入驻Linux基金会,是国内首个在全球范围发起的分布式计算领域的国际标准。标准意在创立与厂商无关、平台无关的分布式消息及流处理领域的应用开发规范,以服务快速发展的互联网和云计算生态。

1. 开发指南及原理解读

首先由Apache RocketMQ PMC 刘振东进行了主题为《ApacheRocketMQ 101》的分享,帮助开发者从0开始学习 Apache RocketMQ,除了一些基础的入门内容外,还有很多是在社区未发表过的个人所感所悟,首次对外分享。分享内容包括RocketMQ的起源、RocketMQ概念模型、存储模型、部署模型和最佳实践总结。

E96W2413.JPG | center | 827x551

嘉宾杜恒分享了如何通过RocketMQ实现零外部依赖的最终一致性分布式事务解决方案。杜恒分析了XA、SAGA、TCC等传统的分布式事务解决方案,之后介绍了如何通过RocketMQ的事务消息机制解决微服务调用过程中产生的分布式事务问题,并给出了最佳实践。

E96W2769.JPG | center | 827x551

阿里巴巴高级技术专家林佳梁向大家介绍了流控软件Sentinel,Sentinel是由RocketMQ生态孵化出的开源项目,专注服务的限流、熔断降级、flow shaping、系统保护等。

E96W2551.JPG | center

2. 行业经验分享

本次沙龙邀请了滴滴出行消息队列负责人江海挺作了行业落地经验的分享。江海挺主要和大家探讨了滴滴如何通过RocketMQ构建消息基础设施。首先,阐述了选择RocketMQ替换原有消息队列kafka的初衷,之后介绍了如何基于RocketMQ构建新的基础设施,最后分享了从Kakfa到RocketMQ的在线迁移方案以及一些最佳实践的经验。

E96W2652.JPG | center

3. IOT和大数据探讨

IOT和大数据是RocketMQ未来的重点发展方向,本次沙龙也做了深入的探讨。Apache RocketMQ 的Contributor 肖宗阳进行了《MQTT Bridge for Apache RocektMQ》的主题分享。MQTT Bridge将成为RocketMQ承接上游海量IOT设备数据的核心组件,其具有支持热插拔、可扩展、可以动态扩缩容的特性。肖宗阳介绍了MQTT Bridge的使用场景、解决的核心问题以及总体的解决方案。

E96W2836.JPG | center | 747x498

嘉宾王鑫分享了RocketMQ在流计算方面的生态布局,并介绍了主流大数据分析框架Spark、Storm、Flink与RocketMQ的集成方式以及具体的使用案例。

E96W2922.JPG | center

​最后Q&A环节,所有嘉宾上台和到场的开发者就RocketMQ 跨机房延时问题、分布式事务问题、MQTT对互联网+的支持情况等进行了深入的交流。

E96W2954.JPG | center

E96W2961.JPG | center | 747x498

4. 调查问卷

Apache RocketMQ自2012年开源以来,受到了广大开发者的青睐。尤其是2016年成为Apache顶级项目后,受到了业界的巨大关注。在国内,RocketMQ已经应用于电商、新能源、互联网、金融、电力、物流、新零售、轨道交通等众多行业。在国外,新加坡、泰国、日本、德国、美国等很多国家的公司、开发者都在关注、使用RocketMQ。

为推动RocketMQ赋能到更多的企业,社区近期会推出一系列措施帮助企业使用RocketMQ、用好RocketMQ,比如技术培训、架构咨询、入厂指导等。社区非常渴望与使用RocketMQ的企业建立连接。我们希望和企业建立良好的互动机制,我们会搭建RocketMQ行业交流平台,深入推动RocketMQ在各行业的落地。无论来自传统行业还是互联网行业、无论是云厂商还是企业级用户,如果愿意,请通过调查问卷和我们建立连接。我们希望听到更多企业用户的声音、听到更多开发者的声音,希望和企业用户以及广大开发者一起把RocketMQ打造成中国为世界贡献的最好的开源项目!
(扫码二维码参与问卷调查)

_

相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
消息中间件 人工智能 Apache
Apache RocketMQ 中文社区全新升级!
RocketMQ 中文社区升级发布只是起点,我们将持续优化体验细节,推出更多功能和服务,更重要的是提供更多全面、深度、高质量的内容。
1113 132
|
消息中间件 存储 Apache
恭喜 Apache RocketMQ、Apache Seata 荣获 2024 开源创新榜单“年度开源项目”
近日,以“新纪天工、开物焕彩——致敬开源的力量”为活动主题的“重大科技成就发布会(首场)”在国家科技传播中心成功举办,并隆重揭晓了 2024 开源创新榜单,旨在致敬中国开源力量,传播推广开源科技成就,营造中国开源创新生态。2024 年开源创新榜单由中国科协科学技术传播中心、中国计算机学会、中国通信学会、中国科学院软件研究所共同主办,中国开发者社区承办,以王怀民院士为首组建评审委员会,进行研讨评审,面向中国开源行业领域,遴选具有创新性、贡献度和影响力的开源项目、社区、应用场景与开源事件。在评审出的 10 个年度开源项目中,Apache RocketMQ、Apache Seata 成功入选。
556 125
|
消息中间件 安全 API
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(1)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
837 1
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(1)
|
消息中间件 安全 Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(4)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
433 1
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(4)
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
1349 2
|
消息中间件 安全 Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(2)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
630 0
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(2)
|
消息中间件 安全 API
Apache RocketMQ ACL 2.0 全新升级
RocketMQ 作为一款流行的分布式消息中间件,被广泛应用于各种大型分布式系统和微服务中,承担着异步通信、系统解耦、削峰填谷和消息通知等重要的角色。随着技术的演进和业务规模的扩大,安全相关的挑战日益突出,消息系统的访问控制也变得尤为重要。然而,RocketMQ 现有的 ACL 1.0 版本已经无法满足未来的发展。因此,我们推出了 RocketMQ ACL 2.0 升级版,进一步提升 RocketMQ 数据的安全性。本文将介绍 RocketMQ ACL 2.0 的新特性、工作原理,以及相关的配置和实践。
14248 99
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
当今社会,物联网技术的发展带来了许多繁琐的挑战,尤其是在数据库管理系统领域,比如实时整合海量数据、处理流中的事件以及处理数据的安全性。例如,应用于智能城市的基于物联网的交通传感器可以实时生成大量的交通数据。据估计,未来5年,物联网设备的数量将达数万亿。物联网产生大量的数据,包括流数据、时间序列数据、RFID数据、传感数据等。要有效地管理这些数据,就需要使用数据库。数据库在充分处理物联网数据方面扮演着非常重要的角色。因此,适当的数据库与适当的平台同等重要。由于物联网在世界上不同的环境中运行,选择合适的数据库变得非常重要。 原创文字,IoTDB 社区可进行使用与传播 一、什么是IoTDB 我
643 9
Apache IoTDB进行IoT相关开发实践
|
传感器 存储 架构师
构建基于 IoT 的废物管理系统:软件架构师指南
构建基于 IoT 的废物管理系统:软件架构师指南
430 9
|
消息中间件 Cloud Native Apache
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(7)
阿里云瑶池数据库云原生化和一体化产品能力升级,多款产品更新迭代
411 1
《阿里云产品四月刊》—Apache RocketMQ ACL 2.0 全新升级(7)

推荐镜像

更多