云消息队列 RocketMQ 版-消息集成-概述

简介: 消息集成是助力企业数字化转型的全栈式消息与数据集成平台,简化流程,支持云上云下、跨区域集成。它提供低代码的事件流服务,具备数据源集成、数据清洗、Serverless自定义处理等功能,支持丰富的数据源和跨端连接。然而,使用时存在如单个任务数据限制、任务名称长度等约束。消息流入(Source)负责从各种数据源获取数据,消息流出(Sink)将数据分发到目标,数据处理(Transform)允许数据转换和分析,而任务(Task)则结合这些组件执行实际的集成操作。

背景信息

企业在向数字化转型的过程中,往往会遇到诸多挑战。例如,缺少统一的信息集成途径;数据格式类型多样,给传输和集成带来不便;缺少分享数据和后端服务的便捷服务;缺少云上云下跨网络的安全信息通道。消息集成是一个全栈式的消息与数据集成平台,可显著简化您的消息集成流程,并支持云上云下、跨区域集成,帮助您实现数字化转型。

消息集成为消息产品提供的低代码,全栈事件流(EventStreaming)服务平台,聚焦消息集成、数据连接、数据处理、服务集成等场景。提供可视化UI界面来便捷地创建集成任务,支持可视化设计与编排。提供跨地域、跨实例、跨应用的跨端连接能力。显著降低消息领域的集成与开发成本。

产品功能

  • 集成丰富的数据源消息集成旨在打通阿里云公有云、跨云、混合云场景下的数据连接。支持云上多款产品的日志接入、支持用户自建场景的数据源接入、支持跨云场景的数据源接入等。目前已打通日志、数据库、消息中间件等多种场景的数据接入。
  • 数据清洗/数据流出消息集成提供了强大的、界面化的数据ETL(Extract-Transform-Load)配置能力,方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。
  • Serverless自定义处理消息集成基于Serverless平台的优势,依托函数计算FC的用户自编码能力,支持用户基于Serverless Function函数计算平台自定义地完成业务逻辑的编写,完成自定义的数据处理分发功能。

使用限制

使用消息集成功能时的限制项如下表所示。

限制项 说明
任务数 单地域总任务数(包括消息流入和消息流出)不超过20个,如果您需要提升创建消息集成的任务数,请提交工单申请。
任务名称 必须以字母或数字开头,剩余部分可以包含字母、数字、短划线(-)。不超过127个字符,超出长度自动截断。
事件模式匹配 在字符串表达式(stringExpression)模式下,每个字段最多包含5个MAP结构(expression)。
事件内容转换
  • template:不超过10240个字符。
  • value:不超过1024个字符。
极端情况任务数据丢失 具体信息,请参见重试和死信

概念介绍—消息流入(Source)

消息流入是消息的数据集成组件。消息流入能够在多种数据源(消息、Log日志、关系型数据和非关系型数据等)之间进行灵活、快速、无侵入式的数据集成。可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至消息产品,并且可靠地管理来自不同源头的数据源,同时对来源数据进行筛选和过滤。

概念介绍—消息流出(Sink)

消息流出的主要能力是将消息产品的数据流出到各类数据目标,消息集成模块对消息产品的消息进行可靠分发,同时在分发时对消息数据进行清洗和过滤。

概念介绍—数据处理(Transform)

数据处理是消息集成的重要功能组件,可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托事件总线EventBridge强大的自研数据处理及灵活的函数计算自定义能力,提供7种匹配模式(指定值匹配、前缀匹配、后缀匹配、除外匹配、数值匹配、数组匹配、复杂组合逻辑匹配)、5种规则转换器(完整事件、部分事件、常量、模板转换器、函数计算模板转换器),可快速实现消息的转换、处理和分析能力。

概念介绍—任务(Task)

任务是运行消息集成的资源实体,也是消息集成的具体实现。通常情况下,一条任务由源、目标及其配置的过滤规则和转换规则构成。任务的底层资源即事件总线EventBridge的事件流(EventStreaming)功能。

任务包括资源配置和数据处理两部分,资源配置是任务的源及目标的配置信息,是任务的重要组成部分。数据处理请参见概念介绍—数据处理(Transform)

重要

任务一旦创建完成,消息流入或者流出的资源类型会置为不可修改状态。

相关实践学习
快速体验阿里云云消息队列RocketMQ版
本实验将带您快速体验使用云消息队列RocketMQ版Serverless系列实例进行获取接入点、创建Topic、创建订阅组、收发消息、查看消息轨迹和仪表盘。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
7月前
|
消息中间件 数据管理 Serverless
阿里云消息队列 Apache RocketMQ 创新论文入选顶会 ACM FSE 2025
阿里云消息团队基于 Apache RocketMQ 构建 Serverless 消息系统,适配多种主流消息协议(如 RabbitMQ、MQTT 和 Kafka),成功解决了传统中间件在可伸缩性、成本及元数据管理等方面的难题,并据此实现 ApsaraMQ 全系列产品 Serverless 化,助力企业提效降本。
|
5月前
|
消息中间件 Java Kafka
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ
本文深入解析了 Kafka 和 RabbitMQ 两大主流消息队列在 Spring 微服务中的应用与对比。内容涵盖消息队列的基本原理、Kafka 与 RabbitMQ 的核心概念、各自优势及典型用例,并结合 Spring 生态的集成方式,帮助开发者根据实际需求选择合适的消息中间件,提升系统解耦、可扩展性与可靠性。
367 1
消息队列比较:Spring 微服务中的 Kafka 与 RabbitMQ
|
7月前
|
物联网 Linux 开发者
快速部署自己私有MQTT-Broker-下载安装到运行不到一分钟,快速简单且易于集成到自己项目中
本文给物联网开发的朋友推荐的是GMQT,让物联网开发者快速拥有合适自己的MQTT-Broker,本文从下载程序到安装部署手把手教大家安装用上私有化MQTT服务器。
1803 5
|
消息中间件 JSON Java
开发者如何使用轻量消息队列MNS
【10月更文挑战第19天】开发者如何使用轻量消息队列MNS
954 88
|
消息中间件 安全 Java
云消息队列RabbitMQ实践解决方案评测
一文带你详细了解云消息队列RabbitMQ实践的解决方案优与劣
437 88
|
消息中间件 Java 数据库
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
这里 借助 Seata 集成 RocketMQ 事务消息的 新功能,介绍一下一个新遇到的面试题:如果如何实现 **强弱一致性 结合**的分布式事务?
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
|
消息中间件 存储 Kafka
MQ 消息队列核心原理,12 条最全面总结!
本文总结了消息队列的12个核心原理,涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
|
消息中间件
解决方案 | 云消息队列RabbitMQ实践获奖名单公布!
云消息队列RabbitMQ实践获奖名单公布!
224 1
|
消息中间件 存储 弹性计算
云消息队列RabbitMQ实践
云消息队列RabbitMQ实践