CommunityOverCode 是 Apache 软件基金会(ASF)的官方全球系列大会,其前身为 ApacheCon。每年的 CommunityOverCode Asia 都吸引着来自全球各个层次的参与者、社区共同探索 "明天的技术"。2024年7月26日至28日, CommunityOverCode Asia 2024 将在杭州举办,带来 Apache 项目的最新发展和新兴创新。
Apache RocketMQ 邀您届时参与相关议题讨论和展位互动交流,欢迎大家报名参加,文末留言,随机抽取 5 位,送出大会三天通票一张。
本次 CommunityOverCode Asia 2024 的 Messaging 专题,将给大家带来 Apache 社区建设和发展的最新资讯和前沿实践,现在就一起来看看吧!
专题介绍
CommunityOverCode Asia 2024
伴随着云原生 Serverless、物联网、实时数据技术的规模化落地,事件驱动架构、事件流技术得以更广泛的应用,使得消息队列成为越来越重要的基础设施。今天在 Apache 生态中已经涌现了多个优秀的消息项目,包括 Apache ActiveMQ、Apache Kafka、Apache RocketMQ、Apache Pulsar 等,面临新的技术趋势,每个消息项目也都在持续进化中。
在这个主题中,你将了解到不同的消息系统如何基于自身的架构特点做出最优的技术演进方向,包括存算分离、Serverless、消息流一体等;也能学习各大厂商如何结合自身的行业特点、业务场景选择合适的消息技术,获得消息技术的最佳实践。
出品人
CommunityOverCode Asia 2024
翟佳
CommunityOverCode Asia 2024
毕业于中科院计算所, AscentStream 创始人兼 CEO, Apache Pulsar PMC 成员,Apache Pulsar 社区核心构建者和贡献者之一。主要从事分布式、文件系统、实时数据相关的设计和开发,在相关领域有丰富的积累和经验。在工作中先后获得中美专利 10 余项。
林清山
CommunityOverCode Asia 2024
Apache RocketMQ 联合创始人& PMC 成员,阿里云资深技术专家,阿里云消息产品线负责人。十多年分布式技术、消息队列研发经验,致力于消息、事件驱动、云原生等方向的研究与探索,推进 Apache RocketMQ 云原生架构、超融合架构的演进。
胡宗棠
CommunityOverCode Asia 2024
移动云消息中间件团队负责人,中国移动云能力中心,消息中间件领域技术专家,移动云消息队列团队负责人。8 年以上消息中间件内核开发和架构设计经历,从无到有参与移动云 RocketMQ、MQTT、Kafka 等多款主流消息中间件系列产品的内核架构和研发。作为技术嘉宾,曾多次参与 Apache Conf Aisa2022/2023 主论坛/分论坛、Apache RocketMQ Summit/Meetup、云原生服务大会技术分享,开源项目实践经验丰富,担任 Apache RocketMQ、Nacos、openEuler message-middleware sig 和 openMessaging 等开源社区的 Maintainer/Committer。曾获信通院2022 年《云原生技术标准专家》、2023 年《云计算开源标准突出贡献专家》,多个开源社区的开源先锋等荣誉。
议程亮点
CommunityOverCode Asia 2024
7 月 26 日 14:00 - 17:45
演讲议题:Apache Pulsar 集群规模控制和稳定性实践
分享时间:7 月 26 日 14:00 - 14:30
议题介绍:
无论是服务云原生化还是 AI 模型训练,作为基础组件的消息队列的稳定性越来越重要。
上层业务的规模越来越大,对消息队列的性能和吞吐量的要求也越来越高。
集群的持续扩展将不断扩大集群的规模。大型集群容易出现热点和爆炸半径过大等问题,这些问题一直影响着上层服务的稳定性。
过小的集群无法承载不断增长的业务流量,自然会出现资源利用不足等问题。
华为终端云中间件团队多年来总结了一套在一线生产环境中的集群规模控制实践。
将集群规模和业务隔离控制在合理范围内,对于高流量业务采用无服务器的消息队列,服务器跨集群调度资源。
在确保集群资源利用的前提下,不断提升消息队列的稳定性。
演讲嘉宾:
Lin Lin丨Technical Director of Huawei Terminal Cloud Message Queue
华为 SDE 专家,中间件技术总监,曾在腾讯和蚂蚁金服工作 专注于中间件和基础设施,拥有 10 多年相关经验,致力于构建高质量的基础设施 Apache Pulsar Committer 和 PMC 成员 《深入理解 Apache Dubbo 与实战》《深入解析 Apache Pulsar》的作者。
演讲议题:基于 RocketMQ 的 AMQP 实践
分享时间:7 月 26 日 14:30 - 15:00
议题介绍:
AMQP 协议是消息中间件领域的标准应用层协议。凭借着其悠久的历史、活跃的社区、丰富的生态系统以及多语言 SDK 的全面覆盖等优势,它已成为最广泛使用的标准消息协议之一,即使在当今,Kafka、RocketMQ 等分布式消息队列产品盛行的情况下,仍然在消息领域占据一席之地,并被广泛用户采用。
然而,由于历史原因,目前的 RabbitMQ 开源实现存在架构上的限制,导致在性能、可扩展性、可维护性等方面存在一定的不足。作为经过验证的分布式消息中间件,基于 Apache RocketMQ 的 AMQP 兼容实现兼容 AMQP 0.9.1 协议,为已经使用 AMQP 协议和旧系统升级的用户提供了更可靠、易操作和高性能的消息中间件解决方案。
本次演讲主要介绍了基于 Apache RocketMQ 实现兼容 AMQP 协议的技术架构和关键技术,包括以下几个部分:
1、AMQP 开源产品 RabbitMQ 的架构
2、基于 RocketMQ 的 AMQP 整体架构设计
3、AMQP on RocketMQ 的关键技术要点
4、AMQP on RocketMQ 的功能和性能对比
5、AMQP on RocketMQ 的开源情况
演讲嘉宾:
Le Zhang丨Tencent Technical Experts
我目前在腾讯云工作,负责与消息队列和微服务相关的系统研发工作。我在中间件领域工作已有 10 年的经验。我也是一个开源社区的热衷者,同时也是 Apollo 和 Spring Cloud Tencent 的创始人。
演讲议题:基于 Apache Kafka 的 Serverless 架构升级
分享时间:7 月 26 日 15:00 - 15:30
议题介绍:
Apache Kafka 社区版是一款出色的分布式事件流平台,但由于其计算和存储的集成设计,其弹性较差,运行大规模集群的成本较高。阿里云 Kafka 在开源 Kafka 的基础上进行了全面升级,结合了弹性计算、高性能分布式文件存储和容器服务等云原生基础设施,实现了 Kafka 的云原生化。它具有低延迟、高吞吐量、极端弹性和更易于操作和维护的特点。云原生 Kafka 架构可以高效应对极大规模 Kafka 集群的运维需求,并为实现 Kafka Serverless 云服务提供了技术基础。
演讲嘉宾:
Fujian Zhao丨Alibaba Senior Software Engineer
我于 2020 年 6 月毕业于东南大学,并于同年 7 月加入了阿里巴巴。
演讲议题:RocketMQ ACL 2.0:消息系统企业级安全体系的进化之路
分享时间:7 月 26 日 15:45 - 16:15
议题介绍:
RocketMQ 作为一款广泛应用的分布式消息中间件,其 ACL(访问控制列表)机制对于保障系统安全至关重要。随着技术的发展和业务规模的扩大,原有的 ACL 1.0 面临一些安全挑战,如 IP 白名单滥用、缺乏精细化控制和组件间访问控制等。为解决这些问题,RocketMQ 推出了 ACL 2.0,通过用户认证和权限校验分离、安全性和性能之间的平衡、授权资源的多种匹配模式、灵活可扩展的插件化等机制的引入;同时融合了 RBAC、ABAC 的权限访问控制机制,提供超级用户、普通用户等多种角色、多维度的权限控制体系,极大增强了消息中间件的安全性,提供了更精细的访问控制;并在确保性能和可扩展性的同时,为大规模分布式环境下的安全运维打下坚实基础。
演讲嘉宾:
Shuangxi Ding丨阿里巴巴 - 云智能 - 技术专家
丁双喜,阿里云的技术专家,专注于消息中间件解决方案的研究、开发和商业化。
演讲议题:在中间件灾难恢复中 KafkaConnect 的实践
分享时间:7 月 26 日 16:15 - 16:45
议题介绍:
Kafka 和 RocketMQ 是受欢迎的高性能消息中间件,用于确保其高可用性。本演讲主要介绍如何使用 KafkaConnect 实现消息中间件的跨数据中心、跨集群迁移和灾难恢复。
演讲嘉宾:
Haijun Wang丨Huawei Cloud, Message,Disaster recovery
华为云中间件团队的软件工程师。
演讲议题:Apache EventMesh 事件网格助力构建事件平台
分享时间:7 月 26 日 16:45 - 17:15
议题介绍:
介绍 ApacheEventMesh 在吉利汽车的一些典型的使用场景,如何构建事件平台并在生产环境中的落地实践。
演讲嘉宾:
Fazhan Qiao丨吉利汽车集团,IT 基础设施架构师
就职于吉利汽车集团,负责 IT 基础设施系统集成及治理。构建 API 网关、消息集成、事件集成、数据集成、IOT 集成等产品能力。使用 Apache Eventmesh 产品并参与社区建设。
演讲议题:Apache RocketMQ 中批量消息的演进
分享时间:7 月 26 日 17:15 - 17:45
议题介绍:
从 RocketMQ 的模型设计到其内部机制,本主题全面分析了 RocketMQ 批量消息特性的迭代演进。通过持续不断的迭代,实现了 AutoBatch 功能,提升了可用性同时实现了达到行业先进水平的性能,以满足各种业务需求。本主题不仅分享了 RocketMQ 的原理和批量处理的演进,还包括与批量消息相关的性能优化,我相信这将为大家提供一些不同的视角。
演讲嘉宾:
You Fu丨Alibaba Cloud Message Queue R&D Engineer
深入参与 Apache RocketMQ 中批量能力的演进 对各种性能优化解决方案和技术充满热情。
7 月 27 日 14:00 - 17:45
演讲议题:基于中国移动云中的 Kosmos,介绍 RocketMQ 在跨可用区方面的演进
分享时间:7 月 27 日 14:00 - 14:30
议题介绍:
本次演讲将介绍中国移动云中 RocketMQ 在跨可用区方面的演进,并讨论跨可用区灾难恢复场景下多集群架构的最佳实践。然后讨论 Kubernetes 多集群架构的演进、优势和挑战。我们将分享 ecloud(中国移动云)多集群架构从 KubeFed 到 Karmada 再到 Kosmos 的演化过程,并总结沿途的经验和教训。
在本次演讲中,听众将全面了解 Kubernetes 多集群架构,并学习如何利用它优化云原生应用程序。
演讲嘉宾:
Wei Wang丨China Mobile, Software Engineer
我是中国移动云能力中心的软件工程师,专注于消息服务、云原生和微服务领域。目前负责消息服务产品的云原生演进工作。
Leichun Yu丨China Mobile,Software Engineer
我是中国移动云能力中心的高级云原生开发人员,也是 Kosmos 开源社区的维护者。专注于云计算和大数据领域,具备丰富的项目实施经验。参与多个重要项目的开发,显著提升了系统性能和稳定性。对新技术充满热情,研究领域包括云原生和人工智能。热衷于分享技术见解和实践成果,为团队和行业发展贡献智慧。
演讲议题:腾讯云上基于云原生消息系统 Apache Pulsar 的大规模生产实践
分享时间:7 月 27 日 14:30 - 15:00
议题介绍:Apache Pulsar 是一个云原生的分布式消息和流处理平台。Apache Pulsar 采用存储与计算分离的架构,支持大规模集群、多租户、百万级主题、跨区域数据复制、持久化存储、分层存储、高可扩展性以及企业级和金融服务等需求。Apache Pulsar 提供统一的消费模型,支持消息队列和流处理场景。它不仅为队列场景提供企业级的读写服务质量和强一致性保证,还为流处理场景提供高吞吐量和低延迟。Apache Pulsar 已在关键的企业业务中得到应用,并具有丰富的应用场景。目前,腾讯云也在生产实践中大规模应用 Apache Pulsar。在生产实践中,腾讯云为 Apache Pulsar 进行了一系列性能优化和稳定性增强,以确保在不同场景下为用户提供稳定高效的系统运行。同时,面对复杂的网络环境和云上的业务需求,还支持更多的功能和特性,以支持业务向云端的迁移。在本次演讲中,我们将重点介绍腾讯云在 Apache Pulsar 的稳定性、性能和功能特性方面的关键工作,为开发者提供参考。
演讲嘉宾:
Mingze Han丨腾讯云计算(北京)有限责任公司
我毕业于武汉大学,主修计算机科学专业。目前在腾讯云担任高级研发工程师,同时也是一个开源社区的热衷者。我在美团和腾讯拥有 7 年以上的消息队列相关研发和运维经验。目前,我主要负责腾讯云 TDMQ for Pulsar 产品的核心部分。同时,我也是 Apache Pulsar 的贡献者和 RoP 维护者。
演讲议题:Apache RocketMQ 存储的演进
分享时间:7 月 27 日 15:00 - 15:30
议题介绍:
随着云原生和微服务概念的发展,消息系统也在不断演进,见证了无服务器和事件驱动架构等高度动态和异步系统的活力。因此,消息队列本身的架构和模型也发生了重大变化。本次演讲介绍了一个数据密集型应用在现代化过程中引入新解决方案来支持大规模消息队列的方法。内容涵盖分层存储能力和新的索引设计、对热数据和冷数据进行细粒度流量控制,以及与云原生存储和集成硬件软件技术进行的实验。讨论将深入分析技术选择的利弊权衡,分享消息系统等基础设施服务如何充分利用软件和硬件的进步带来的优势。这些进步满足了流处理和实时分析场景中日益增长的数据分析需求,同时在成本和机器效率之间取得平衡。本次演讲旨在展示消息基础设施如何真正拥抱云原生原则,将消息策略扩展到流领域,并成为未来事件驱动架构(EDA)、全面无服务器和轻量级计算环境的基础。
演讲嘉宾:
Zhimin Li丨Alibaba, Engineer II
凭借在构建高可用性和分布式系统以及性能调优方面的丰富经验,我专注于分布式消息系统和有状态计算领域。同时,我是 Apache RocketMQ Committer 团队的成员之一。
演讲议题:中国移动云上的 Kubernetes Kafka 多集群架构
分享时间:7 月 27 日 15:45 - 16:15
议题介绍:
在本次演讲中,我们将分享在 Kubernetes 上实现多集群 Kafka 架构的经验。我们将介绍在每个 Kafka 集群之间管理 CPU、内存、磁盘 IO、网络 IO 资源的最佳实践,以及 Kafka 集群和 Pod 的重要指标,以及多个 Kubernetes 集群之间的高可用架构。通过本次演讲,您将学习如何优化您在 Kubernetes 上部署 Kafka 的方法。
演讲嘉宾:
Jialing Wang丨China Mobile, software engineer
我在中国移动云中担任 Apache Kafka 和 Pulsar 的开发经理。我是 Apache Pulsar 的贡献者,专注于中间件消息系统领域。
演讲议题:华为云中 Kafka serverless 化的演进
分享时间:7 月 27 日 16:15 - 16:45
议题介绍:
本次分享将分析实际生产中原生 Kafka 的痛点,介绍华为云 Kafka 在 serverless 架构方面的实践,包括分级存储,弹性计算等,最后对华为云 Kafka 的未来进行了展望。
演讲嘉宾:
Lan Ding丨Huawei Cloud message engine R&D expert
华为云中间件团队的软件工程师,Apache RocketMQ 贡献者,Apache Kafka 贡献者,负责华为云 Kafka 的开发工作。
演讲议题:关于改进小米 RocketMQ 服务产品的实践
分享时间:7 月 27 日 16:45 - 17:15
议题介绍:
本次分享主要介绍小米在提升 RocketMQ 产品实力方面的实践,主要包括改进 RocketMQ 服务本身稳定性的措施以及提升周边产品(如 Flink RocketMQ、Schema、MQTT 等服务)实力的实践。
演讲嘉宾:
Kunming Han丨Xiaomi, Software R&D Engineer
主要负责小米公司的消息队列相关工作。
演讲议题:腾讯云中的 Kafka 无服务器架构
分享时间:7 月 27 日 17:15 - 17:45
议题介绍:
Kafka 在腾讯云中被广泛使用。由于 Kafka 架构的问题,运维压力很大。为了提前确保稳定性和成本,逐步探索了一套 Kafka 无服务器架构。本次分享将介绍腾讯云 Kafka 无服务器架构的演进过程和经验。
演讲嘉宾:
Shilin Lu丨腾讯云计算(北京)有限责任公司,北京市海淀区马连洼街道腾讯总部大楼,腾讯云专家工程师
我毕业于天津大学,主修软件工程专业。目前,我负责腾讯云中 Kafka 核心的开发和优化工作,拥有 7 年的消息中间件开发和运维经验。我曾在腾讯和字节跳动等公司负责消息中间件的开发工作,并具备大规模集群的运维经验。同时,我也是 Apache 项目 Kafka 和 RocketMQ 的开源贡献者,热衷于对开源社区做出贡献和回馈。