解读OpenMessaging开源项目,阿里巴巴发起首个分布式消息领域的国际标准

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

10月14日,阿里巴巴2017杭州·云栖大会,Linux 基金会Leadship团队 CNCF 执行总裁 Dan Kohn和阿里巴巴集团研究员蒋江伟共同宣布了分布式消息领域的国际标准OpenMessaging开源项目正式入驻Linux基金会,这也是国内首个在全球范围发起的分布式计算领域的国际标准。

image

据悉,OpenMessaging项目由阿里巴巴发起,与雅虎、滴滴出行、Streamlio公司共同参与创立,项目意在创立厂商无关、平台无关的分布式消息及流处理领域的应用开发标准。据发起人介绍,随着标准的不断演进,会有更多的互联网、云计算厂商参与到该项目以及生态体系中来。

OpenMessaging的价值

在云计算时代,消息通讯已经成为现代数据驱动架构的关键环节,消息中间件可以连接数据源、数据处理引擎和应用程序。然而,全球范围内,消息领域仍然存在两大问题:一是缺乏供应商中立的行业标准,导致各种消息中间件的高复杂性和不兼容性,相应地造成了公司的产品低效、混乱和供应商锁定等问题。二是目前已有的方案框架并不能很好地适配云架构,即非云原生架构,因此无法有效地对大数据、流计算和物联网等新兴业务需求提供技术支持。

OpenMessaging抛弃历史包袱,轻装上阵,期望能解决这些弊端。除了做到可以链接跨平台、跨语言、跨产品和跨云的标准之外,OpenMessaging将提供Cloud Native的能力,面向云计算、混合云架构,实现多云平台无缝迁移,致力于提供金融、电子商务、IoT及大数据等领域的一站式解决方案。

详解OpenMessaging及其未来计划

OpenMessaging项目发起者阿里巴巴在分布式消息领域已深耕近十年。阿里巴巴自研消息中间件RocketMQ以万亿级的容量支撑阿里内部3000+应用,双十一当天承载上万亿消息流转;同时在阿里云上为数万个付费用户提供消息服务。RocketMQ的开源社区版本现已成为Apache基金会顶级项目,和Hadoop、Spark等大数据生态体系逐渐形成合力,被国内外互联网、金融,大数据等领域的企业广泛使用。

得益于阿里巴巴在消息领域沉淀的丰富经验,OpenMessaging项目是将互联网业务对消息的需求进行抽象,形成了一套能满足大多数业务场景的标准模型,并提供连接大数据和流计算平台的能力,逐步发展一个厂商无关的消息规范。具体而言,项目将首先推进开源消息解决方案的标准化接入,然后覆盖主流云平台,最后将生态外延,连接一切。

现如今,OpenMessaging项目已经开始在Apache RocketMQ中率先落地,并推广至整个阿里云平台,阿里云用户能最先通过OpenMessaging接入阿里云的消息生态。同时Apache RocketMQ的4.1.0版本实现了OpenMessaging的0.1.0-alpha版本,使用开源RocketMQ的用户可以率先使用OpenMessaging,RocketMQ官网提供了接入文档

未来一年,OpenMessaging项目将会从开源社区、云平台和生态系统三个维度展开工作。

  • 开源社区:推出OpenMessaging的1.0版本,Apache RocketMQ和Apache Pulsar等开源产品会相继实现该标准,同时会尝试推进Spring Cloud,ActiveMQ、RabbitMQ、Kafka等主流平台接入。
  • 云平台:RocketMQ的实现会在阿里云的商业消息产品Aliware MQ中落地,成为阿里云平台的上默认消息接入规范,同时也会尝试了解其它云平台的接入意愿。
  • 生态系统:OpenMessaging主要会先从三个方面进行生态的延伸和发展。

    • Connector,使OpenMessaging能覆盖主流的大数据和流计算平台。
    • Replicator,提供连接主流数据库的能力,比如Mysql,Redis,HBase等。
    • Appender,覆盖日志和Metrics领域。

目前,项目组建了一个较小的OpenMessaging Technical Steering Committee(OMTSC)和OpenMessaging Industrial Advisory Board (OMIAB),TSC成员会把控整个项目的方向和推动项目发展,IAB顾问组成员会为项目提供丰富的指导性建议,同时也有义务将项目在其所在组织进行推广和实现。其中,TSC的初始成员主要来自阿里、滴滴、雅虎和Streamlio等公司,TSC会带着这些公司的沉淀,在充分讨论的基础上,制定规范版本,同时提供多语言API和解决方案。而IAB成员则由业内相关领域的专家组成。

随着项目的推进,当主流开源项目和云提供商能支持OpenMessaging的实现时,用户可以低成本甚至无成本的在不同的产品和不同的云平台之间进行迁移,没有技术选项和多语言的困扰。这也是OpenMessaging项目的初衷。

阿里巴巴中间件技术部研究员蒋江伟表示,作为分布式系统消息服务规范标准,OpenMessaging的愿景是成为全球化、无国界、无公司边界,面向云和大数据,多行业领域的一站式方案标准。

写在后面

对于致力与成为全球化消息领域标准的OpenMessaging最大的挑战是如何做到厂商无关化,而得到众多厂商的支持和接入并非一蹴而就。OpenMessaging绝对不是封闭的技术圈,而是需要开放才能得到社区的认可和厂商的接入,要做到这一点,与更多技术流派的项目开发者、厂商的充分沟通是必不可少,希望更多的有志之士能加入OpenMessaging社区生态,促进其健康发展,共同为打造顶级消息行业开放规范标准而努力。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
Java 微服务 Spring
@EnableDiscoveryClient注解的作用
@EnableDiscoveryClient注解的作用 @EnableDiscoveryClient 及@EnableEurekaClient 类似,都是将一个微服务注册到Eureka Server(或其他 服务发现组件,例如Zookeeper、Consul等)
1854 0
|
机器学习/深度学习 人工智能 自然语言处理
【LLM】能够运行在移动端的轻量级大语言模型Gemma实践
【4月更文挑战第12天】可以运行在移动端的开源大语言模型Gemma模型介绍
613 0
|
机器学习/深度学习 前端开发 机器人
如何开始定制你自己的大型语言模型
2023年,大型语言模型发展迅速,规模更大,性能更强。用户能否定制自己的模型取决于硬件资源。需在功能和成本间找到平衡,可以选择高性能(如40B+参数,适合专业用途,需强大GPU,成本高)或低性能(如7B参数,适合学习和简单应用,GPU成本较低)模型。训练模型可借助HuggingFace的Transformers库,定义数据集并进行训练。训练好的模型可使用Ollama和Open Web UI部署。具备适当GPU是入门基础。
302 2
|
人工智能 数据可视化 数据挖掘
上海“爷叔”神话分析——爱在深秋
上海“爷叔”股市评论走红,言论影响巨大,分析显示其预测大多不准确,但个别时机准确,模拟操作获利,反映股市预测复杂性,强调投资需谨慎。
|
搜索推荐 机器人 云计算
纳米机器人:医疗领域的微型革命与精准治疗
【9月更文挑战第16天】随着科技的飞速发展,纳米技术成为推动多个领域变革的重要力量。在医疗领域,纳米机器人以其独特优势引领着微型革命与精准治疗新时代。本文探讨其在药物输送、癌症治疗、手术辅助及疾病诊断中的应用,并分析其小型化、精准化、智能化与综合化的优势。尽管面临制造技术、体内控制等挑战,但随着科技的进步,纳米机器人有望成为人类健康的重要保障。
710 10
|
Kubernetes 负载均衡 应用服务中间件
Kubernetes
Kubernetes 版 ACK(Alibaba Cloud Container Service for Kubernetes)是阿里云提供的一种容器服务,它基于 Kubernetes 开源容器编排平台,为用户提供高效、可扩展的容器应用管理能力。ACK 可以帮助用户在云端轻松部署、管理和扩展容器化应用,同时提供了丰富的 Kubernetes 功能,例如自动扩展、滚动更新、负载均衡等。
178 1
|
Java Spring
【已解决】Caused by: java.lang.ClassNotFoundException: org.springframework.boot.context.properties.
【已解决】Caused by: java.lang.ClassNotFoundException: org.springframework.boot.context.properties.
4450 1
【已解决】Caused by: java.lang.ClassNotFoundException: org.springframework.boot.context.properties.
|
存储 关系型数据库 MySQL
RDS for MySQL测试
【4月更文挑战第28天】
201 1
|
分布式计算 大数据 Hadoop
终于学完了阿里云大数据架构师推荐的Flink入门与实战PDF
Flink项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程,从第1代的MapReduce,到第2代基于有向无环图的Tez,第3代基于内存计算的Spark,再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用,所以Flink并不会取代Hadoop,而是和Hadoop紧密结合。
终于学完了阿里云大数据架构师推荐的Flink入门与实战PDF
|
弹性计算 Linux 应用服务中间件
使用ECS部署并使用Docker
本文介绍如何在云服务ECS实例上,部署并使用Docker。