云消息队列 RocketMQ 版-消息集成-概述

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 消息集成是助力企业数字化转型的全栈式消息与数据集成平台,简化流程,支持云上云下、跨区域集成。它提供低代码的事件流服务,具备数据源集成、数据清洗、Serverless自定义处理等功能,支持丰富的数据源和跨端连接。然而,使用时存在如单个任务数据限制、任务名称长度等约束。消息流入(Source)负责从各种数据源获取数据,消息流出(Sink)将数据分发到目标,数据处理(Transform)允许数据转换和分析,而任务(Task)则结合这些组件执行实际的集成操作。

背景信息

企业在向数字化转型的过程中,往往会遇到诸多挑战。例如,缺少统一的信息集成途径;数据格式类型多样,给传输和集成带来不便;缺少分享数据和后端服务的便捷服务;缺少云上云下跨网络的安全信息通道。消息集成是一个全栈式的消息与数据集成平台,可显著简化您的消息集成流程,并支持云上云下、跨区域集成,帮助您实现数字化转型。

消息集成为消息产品提供的低代码,全栈事件流(EventStreaming)服务平台,聚焦消息集成、数据连接、数据处理、服务集成等场景。提供可视化UI界面来便捷地创建集成任务,支持可视化设计与编排。提供跨地域、跨实例、跨应用的跨端连接能力。显著降低消息领域的集成与开发成本。

产品功能

  • 集成丰富的数据源消息集成旨在打通阿里云公有云、跨云、混合云场景下的数据连接。支持云上多款产品的日志接入、支持用户自建场景的数据源接入、支持跨云场景的数据源接入等。目前已打通日志、数据库、消息中间件等多种场景的数据接入。
  • 数据清洗/数据流出消息集成提供了强大的、界面化的数据ETL(Extract-Transform-Load)配置能力,方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。
  • Serverless自定义处理消息集成基于Serverless平台的优势,依托函数计算FC的用户自编码能力,支持用户基于Serverless Function函数计算平台自定义地完成业务逻辑的编写,完成自定义的数据处理分发功能。

使用限制

使用消息集成功能时的限制项如下表所示。

限制项 说明
任务数 单地域总任务数(包括消息流入和消息流出)不超过20个,如果您需要提升创建消息集成的任务数,请提交工单申请。
任务名称 必须以字母或数字开头,剩余部分可以包含字母、数字、短划线(-)。不超过127个字符,超出长度自动截断。
事件模式匹配 在字符串表达式(stringExpression)模式下,每个字段最多包含5个MAP结构(expression)。
事件内容转换
  • template:不超过10240个字符。
  • value:不超过1024个字符。
极端情况任务数据丢失 具体信息,请参见重试和死信

概念介绍—消息流入(Source)

消息流入是消息的数据集成组件。消息流入能够在多种数据源(消息、Log日志、关系型数据和非关系型数据等)之间进行灵活、快速、无侵入式的数据集成。可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至消息产品,并且可靠地管理来自不同源头的数据源,同时对来源数据进行筛选和过滤。

概念介绍—消息流出(Sink)

消息流出的主要能力是将消息产品的数据流出到各类数据目标,消息集成模块对消息产品的消息进行可靠分发,同时在分发时对消息数据进行清洗和过滤。

概念介绍—数据处理(Transform)

数据处理是消息集成的重要功能组件,可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托事件总线EventBridge强大的自研数据处理及灵活的函数计算自定义能力,提供7种匹配模式(指定值匹配、前缀匹配、后缀匹配、除外匹配、数值匹配、数组匹配、复杂组合逻辑匹配)、5种规则转换器(完整事件、部分事件、常量、模板转换器、函数计算模板转换器),可快速实现消息的转换、处理和分析能力。

概念介绍—任务(Task)

任务是运行消息集成的资源实体,也是消息集成的具体实现。通常情况下,一条任务由源、目标及其配置的过滤规则和转换规则构成。任务的底层资源即事件总线EventBridge的事件流(EventStreaming)功能。

任务包括资源配置和数据处理两部分,资源配置是任务的源及目标的配置信息,是任务的重要组成部分。数据处理请参见概念介绍—数据处理(Transform)

重要

任务一旦创建完成,消息流入或者流出的资源类型会置为不可修改状态。

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
4月前
|
消息中间件 弹性计算 Kubernetes
RabbitMQ与容器化技术的集成实践
【8月更文第28天】RabbitMQ 是一个开源消息代理和队列服务器,用于在分布式系统中存储、转发消息。随着微服务架构的普及,容器化技术(如 Docker 和 Kubernetes)成为了部署和管理应用程序的标准方式。本文将探讨如何使用 Docker 和 Kubernetes 在生产环境中部署和管理 RabbitMQ 服务,同时保证高可用性和弹性伸缩能力。
85 3
|
2月前
|
消息中间件 Java 数据库
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
这里 借助 Seata 集成 RocketMQ 事务消息的 新功能,介绍一下一个新遇到的面试题:如果如何实现 **强弱一致性 结合**的分布式事务?
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
|
2月前
|
消息中间件 JSON Java
开发者如何使用轻量消息队列MNS
【10月更文挑战第19天】开发者如何使用轻量消息队列MNS
106 6
|
2月前
|
消息中间件 安全 Java
云消息队列RabbitMQ实践解决方案评测
一文带你详细了解云消息队列RabbitMQ实践的解决方案优与劣
97 8
|
1月前
|
消息中间件 存储 Kafka
MQ 消息队列核心原理,12 条最全面总结!
本文总结了消息队列的12个核心原理,涵盖消息顺序性、ACK机制、持久化及高可用性等内容。关注【mikechen的互联网架构】,10年+BAT架构经验倾囊相授。
|
2月前
|
消息中间件
解决方案 | 云消息队列RabbitMQ实践获奖名单公布!
云消息队列RabbitMQ实践获奖名单公布!
|
2月前
|
消息中间件 存储 弹性计算
云消息队列RabbitMQ实践
云消息队列RabbitMQ实践
|
2月前
|
消息中间件 存储 监控
解决方案 | 云消息队列RabbitMQ实践
在实际业务中,网站因消息堆积和高流量脉冲导致系统故障。为解决这些问题,云消息队列 RabbitMQ 版提供高性能的消息处理和海量消息堆积能力,确保系统在流量高峰时仍能稳定运行。迁移前需进行技术能力和成本效益评估,包括功能、性能、限制值及费用等方面。迁移步骤包括元数据迁移、创建用户、网络打通和数据迁移。
75 4
|
3月前
|
消息中间件 运维 监控
云消息队列RabbitMQ实践解决方案评测报告
本报告旨在对《云消息队列RabbitMQ实践》解决方案进行综合评测。通过对该方案的原理理解、部署体验、设计验证以及实际应用价值等方面进行全面分析,为用户提供详尽的反馈与建议。
93 16
|
3月前
|
消息中间件 弹性计算 运维
阿里云云消息队列RabbitMQ实践解决方案评测报告
阿里云云消息队列RabbitMQ实践解决方案评测报告
82 9