发力IOT、大数据,Apache RocketMQ 构建云时代的新生态

简介: 摘要2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。

摘要

2018年9月1日,由阿里巴巴中间件举办的RocketMQ开发者沙龙在北京举行。这是RocketMQ今年举办的第二次大型线下技术交流活动,出席技术沙龙的嘉宾包括Apache RocketMQ布道师冯嘉、滴滴出行消息团队负责人江海挺、Apache RocketMQ PMC 刘振东、杜恒以及其他commiter和contributor。嘉宾们详尽解读了RocketMQ的使用方式、概念模型、分布式事务等关键机制与原理,深入探讨了RocketMQ在大数据及IOT方面的生态布局、落地实践,并分享了在使用RocketMQ方面的经验以及从Kafka迁移到RocketMQ的具体方案。

11.jpg | center | 747x498

Apache RocketMQ Contributor 丁磊和阿里巴巴高级技术专家林佳梁作为主持人开场致辞,介绍了开发者沙龙的日程,回顾了RocketMQ的发展历程,同时介绍了OpenMessaging标准。OpenMessaging项目是由阿里巴巴发起,联合滴滴出行、雅虎、Streamlio等公司共同参与创立的国际消息标准,2017年10月14日宣布正式入驻Linux基金会,是国内首个在全球范围发起的分布式计算领域的国际标准。标准意在创立与厂商无关、平台无关的分布式消息及流处理领域的应用开发规范,以服务快速发展的互联网和云计算生态。

1. 开发指南及原理解读

首先由Apache RocketMQ PMC 刘振东进行了主题为《ApacheRocketMQ 101》的分享,帮助开发者从0开始学习 Apache RocketMQ,除了一些基础的入门内容外,还有很多是在社区未发表过的个人所感所悟,首次对外分享。分享内容包括RocketMQ的起源、RocketMQ概念模型、存储模型、部署模型和最佳实践总结。

E96W2413.JPG | center | 827x551

嘉宾杜恒分享了如何通过RocketMQ实现零外部依赖的最终一致性分布式事务解决方案。杜恒分析了XA、SAGA、TCC等传统的分布式事务解决方案,之后介绍了如何通过RocketMQ的事务消息机制解决微服务调用过程中产生的分布式事务问题,并给出了最佳实践。

E96W2769.JPG | center | 827x551

阿里巴巴高级技术专家林佳梁向大家介绍了流控软件Sentinel,Sentinel是由RocketMQ生态孵化出的开源项目,专注服务的限流、熔断降级、flow shaping、系统保护等。

E96W2551.JPG | center

2. 行业经验分享

本次沙龙邀请了滴滴出行消息队列负责人江海挺作了行业落地经验的分享。江海挺主要和大家探讨了滴滴如何通过RocketMQ构建消息基础设施。首先,阐述了选择RocketMQ替换原有消息队列kafka的初衷,之后介绍了如何基于RocketMQ构建新的基础设施,最后分享了从Kakfa到RocketMQ的在线迁移方案以及一些最佳实践的经验。

E96W2652.JPG | center

3. IOT和大数据探讨

IOT和大数据是RocketMQ未来的重点发展方向,本次沙龙也做了深入的探讨。Apache RocketMQ 的Contributor 肖宗阳进行了《MQTT Bridge for Apache RocektMQ》的主题分享。MQTT Bridge将成为RocketMQ承接上游海量IOT设备数据的核心组件,其具有支持热插拔、可扩展、可以动态扩缩容的特性。肖宗阳介绍了MQTT Bridge的使用场景、解决的核心问题以及总体的解决方案。

E96W2836.JPG | center | 747x498

嘉宾王鑫分享了RocketMQ在流计算方面的生态布局,并介绍了主流大数据分析框架Spark、Storm、Flink与RocketMQ的集成方式以及具体的使用案例。

E96W2922.JPG | center

​最后Q&A环节,所有嘉宾上台和到场的开发者就RocketMQ 跨机房延时问题、分布式事务问题、MQTT对互联网+的支持情况等进行了深入的交流。

E96W2954.JPG | center

E96W2961.JPG | center | 747x498

4. 调查问卷

Apache RocketMQ自2012年开源以来,受到了广大开发者的青睐。尤其是2016年成为Apache顶级项目后,受到了业界的巨大关注。在国内,RocketMQ已经应用于电商、新能源、互联网、金融、电力、物流、新零售、轨道交通等众多行业。在国外,新加坡、泰国、日本、德国、美国等很多国家的公司、开发者都在关注、使用RocketMQ。

为推动RocketMQ赋能到更多的企业,社区近期会推出一系列措施帮助企业使用RocketMQ、用好RocketMQ,比如技术培训、架构咨询、入厂指导等。社区非常渴望与使用RocketMQ的企业建立连接。我们希望和企业建立良好的互动机制,我们会搭建RocketMQ行业交流平台,深入推动RocketMQ在各行业的落地。无论来自传统行业还是互联网行业、无论是云厂商还是企业级用户,如果愿意,请通过调查问卷和我们建立连接。我们希望听到更多企业用户的声音、听到更多开发者的声音,希望和企业用户以及广大开发者一起把RocketMQ打造成中国为世界贡献的最好的开源项目!
(扫码二维码参与问卷调查)

_

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
相关文章
|
20天前
|
消息中间件 监控 数据挖掘
基于RabbitMQ与Apache Flink构建实时分析系统
【8月更文第28天】本文将介绍如何利用RabbitMQ作为数据源,结合Apache Flink进行实时数据分析。我们将构建一个简单的实时分析系统,该系统能够接收来自不同来源的数据,对数据进行实时处理,并将结果输出到另一个队列或存储系统中。
77 2
|
26天前
|
物联网 数据管理 Apache
拥抱IoT浪潮,Apache IoTDB如何成为你的智能数据守护者?解锁物联网新纪元的数据管理秘籍!
【8月更文挑战第22天】随着物联网技术的发展,数据量激增对数据库提出新挑战。Apache IoTDB凭借其面向时间序列数据的设计,在IoT领域脱颖而出。相较于传统数据库,IoTDB采用树形数据模型高效管理实时数据,具备轻量级结构与高并发能力,并集成Hadoop/Spark支持复杂分析。在智能城市等场景下,IoTDB能处理如交通流量等数据,为决策提供支持。IoTDB还提供InfluxDB协议适配器简化迁移过程,并支持细致的权限管理确保数据安全。综上所述,IoTDB在IoT数据管理中展现出巨大潜力与竞争力。
40 1
|
28天前
|
存储 分布式计算 物联网
Apache IoTDB进行IoT相关开发实践
当今社会,物联网技术的发展带来了许多繁琐的挑战,尤其是在数据库管理系统领域,比如实时整合海量数据、处理流中的事件以及处理数据的安全性。例如,应用于智能城市的基于物联网的交通传感器可以实时生成大量的交通数据。据估计,未来5年,物联网设备的数量将达数万亿。物联网产生大量的数据,包括流数据、时间序列数据、RFID数据、传感数据等。要有效地管理这些数据,就需要使用数据库。数据库在充分处理物联网数据方面扮演着非常重要的角色。因此,适当的数据库与适当的平台同等重要。由于物联网在世界上不同的环境中运行,选择合适的数据库变得非常重要。 原创文字,IoTDB 社区可进行使用与传播 一、什么是IoTDB 我
97 9
Apache IoTDB进行IoT相关开发实践
|
12天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
56 11
|
20天前
|
分布式计算 大数据 Apache
跨越界限:当.NET遇上Apache Spark,大数据世界的新篇章如何谱写?
【8月更文挑战第28天】随着信息时代的发展,大数据已成为推动企业决策、科研与技术创新的关键力量。Apache Spark凭借其卓越的分布式计算能力和多功能数据处理特性,在大数据领域占据重要地位。然而,对于.NET开发者而言,如何在Spark生态中发挥自身优势成为一个新课题。为此,微软与Apache Spark社区共同推出了.NET for Apache Spark,使开发者能用C#、F#等语言编写Spark应用,不仅保留了Spark的强大功能,还融合了.NET的强类型系统、丰富库支持及良好跨平台能力,极大地降低了学习门槛并拓展了.NET的应用范围。
36 3
|
25天前
|
分布式计算 大数据 数据处理
Apache Spark的应用与优势:解锁大数据处理的无限潜能
【8月更文挑战第23天】Apache Spark以其卓越的性能、易用性、通用性、弹性与可扩展性以及丰富的生态系统,在大数据处理领域展现出了强大的竞争力和广泛的应用前景。随着大数据技术的不断发展和普及,Spark必将成为企业实现数字化转型和业务创新的重要工具。未来,我们有理由相信,Spark将继续引领大数据处理技术的发展潮流,为企业创造更大的价值。
|
28天前
|
Java 持续交付 项目管理
Maven是一款基于Apache许可的项目管理和构建自动化工具,在Java开发中极为流行。
Maven是一款基于Apache许可的项目管理和构建自动化工具,在Java开发中极为流行。它采用项目对象模型(POM)来描述项目,简化构建流程。Maven提供依赖管理、标准构建生命周期、插件扩展等功能,支持多模块项目及版本控制。在Java Web开发中,Maven能够自动生成项目结构、管理依赖、自动化构建流程并运行多种插件任务,如代码质量检查和单元测试。遵循Maven的最佳实践,结合持续集成工具,可以显著提升开发效率和项目质量。
37 1
|
1月前
|
消息中间件 大数据 Kafka
"Apache Flink:重塑大数据实时处理新纪元,卓越性能与灵活性的实时数据流处理王者"
【8月更文挑战第10天】Apache Flink以卓越性能和高度灵活性在大数据实时处理领域崭露头角。它打破批处理与流处理的传统界限,采用统一模型处理有界和无界数据流,提升了开发效率和系统灵活性。Flink支持毫秒级低延迟处理,通过时间窗口、状态管理和自动并行化等关键技术确保高性能与可靠性。示例代码展示了如何使用Flink从Kafka读取实时数据并进行处理,简明扼要地呈现了Flink的强大能力。随着技术进步,Flink将在更多场景中提供高效可靠的解决方案,持续引领大数据实时处理的发展趋势。
68 7
|
17天前
|
Java Spring API
Spring框架与GraphQL的史诗级碰撞:颠覆传统,重塑API开发的未来传奇!
【8月更文挑战第31天】《Spring框架与GraphQL:构建现代API》介绍了如何结合Spring框架与GraphQL构建高效、灵活的API。首先通过引入`spring-boot-starter-data-graphql`等依赖支持GraphQL,然后定义查询和类型,利用`@GraphQLQuery`等注解实现具体功能。Spring的依赖注入和事务管理进一步增强了GraphQL服务的能力。示例展示了从查询到突变的具体实现,证明了Spring与GraphQL结合的强大潜力,适合现代API设计与开发。
31 0
|
20天前
|
传感器 开发框架 物联网
揭开.NET在IoT领域的神秘面纱:如何构建智能设备,让未来生活触手可及?
【8月更文挑战第28天】随着物联网技术的发展,智能设备正深入我们的生活。.NET作为跨平台开源框架,在IoT领域应用广泛。本文介绍如何利用.NET构建智能设备,通过实例展示从环境搭建到项目创建、代码编写及运行的全过程,帮助开发者快速实现IoT解决方案,开启智能设备开发的新篇章。
25 0

推荐镜像

更多