云消息队列 RocketMQ 版-消息集成-概述

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 消息集成是助力企业数字化转型的全栈式消息与数据集成平台,简化流程,支持云上云下、跨区域集成。它提供低代码的事件流服务,具备数据源集成、数据清洗、Serverless自定义处理等功能,支持丰富的数据源和跨端连接。然而,使用时存在如单个任务数据限制、任务名称长度等约束。消息流入(Source)负责从各种数据源获取数据,消息流出(Sink)将数据分发到目标,数据处理(Transform)允许数据转换和分析,而任务(Task)则结合这些组件执行实际的集成操作。

背景信息

企业在向数字化转型的过程中,往往会遇到诸多挑战。例如,缺少统一的信息集成途径;数据格式类型多样,给传输和集成带来不便;缺少分享数据和后端服务的便捷服务;缺少云上云下跨网络的安全信息通道。消息集成是一个全栈式的消息与数据集成平台,可显著简化您的消息集成流程,并支持云上云下、跨区域集成,帮助您实现数字化转型。

消息集成为消息产品提供的低代码,全栈事件流(EventStreaming)服务平台,聚焦消息集成、数据连接、数据处理、服务集成等场景。提供可视化UI界面来便捷地创建集成任务,支持可视化设计与编排。提供跨地域、跨实例、跨应用的跨端连接能力。显著降低消息领域的集成与开发成本。

产品功能

  • 集成丰富的数据源消息集成旨在打通阿里云公有云、跨云、混合云场景下的数据连接。支持云上多款产品的日志接入、支持用户自建场景的数据源接入、支持跨云场景的数据源接入等。目前已打通日志、数据库、消息中间件等多种场景的数据接入。
  • 数据清洗/数据流出消息集成提供了强大的、界面化的数据ETL(Extract-Transform-Load)配置能力,方便快捷地对完成上报、进入到消息队列的数据进行清洗、格式化、数据格式转换等操作。并支持将完成ETL处理的数据转储到下游。
  • Serverless自定义处理消息集成基于Serverless平台的优势,依托函数计算FC的用户自编码能力,支持用户基于Serverless Function函数计算平台自定义地完成业务逻辑的编写,完成自定义的数据处理分发功能。

使用限制

使用消息集成功能时的限制项如下表所示。

限制项 说明
任务数 单地域总任务数(包括消息流入和消息流出)不超过20个,如果您需要提升创建消息集成的任务数,请提交工单申请。
任务名称 必须以字母或数字开头,剩余部分可以包含字母、数字、短划线(-)。不超过127个字符,超出长度自动截断。
事件模式匹配 在字符串表达式(stringExpression)模式下,每个字段最多包含5个MAP结构(expression)。
事件内容转换
  • template:不超过10240个字符。
  • value:不超过1024个字符。
极端情况任务数据丢失 具体信息,请参见重试和死信

概念介绍—消息流入(Source)

消息流入是消息的数据集成组件。消息流入能够在多种数据源(消息、Log日志、关系型数据和非关系型数据等)之间进行灵活、快速、无侵入式的数据集成。可以实现跨机房、跨数据中心、跨云的数据集成方案,并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至消息产品,并且可靠地管理来自不同源头的数据源,同时对来源数据进行筛选和过滤。

概念介绍—消息流出(Sink)

消息流出的主要能力是将消息产品的数据流出到各类数据目标,消息集成模块对消息产品的消息进行可靠分发,同时在分发时对消息数据进行清洗和过滤。

概念介绍—数据处理(Transform)

数据处理是消息集成的重要功能组件,可以在配置消息流入或消息流出任务的同时选择性配置数据处理能力。依托事件总线EventBridge强大的自研数据处理及灵活的函数计算自定义能力,提供7种匹配模式(指定值匹配、前缀匹配、后缀匹配、除外匹配、数值匹配、数组匹配、复杂组合逻辑匹配)、5种规则转换器(完整事件、部分事件、常量、模板转换器、函数计算模板转换器),可快速实现消息的转换、处理和分析能力。

概念介绍—任务(Task)

任务是运行消息集成的资源实体,也是消息集成的具体实现。通常情况下,一条任务由源、目标及其配置的过滤规则和转换规则构成。任务的底层资源即事件总线EventBridge的事件流(EventStreaming)功能。

任务包括资源配置和数据处理两部分,资源配置是任务的源及目标的配置信息,是任务的重要组成部分。数据处理请参见概念介绍—数据处理(Transform)

重要

任务一旦创建完成,消息流入或者流出的资源类型会置为不可修改状态。

相关实践学习
消息队列RocketMQ版:基础消息收发功能体验
本实验场景介绍消息队列RocketMQ版的基础消息收发功能,涵盖实例创建、Topic、Group资源创建以及消息收发体验等基础功能模块。
消息队列 MNS 入门课程
1、消息队列MNS简介 本节课介绍消息队列的MNS的基础概念 2、消息队列MNS特性 本节课介绍消息队列的MNS的主要特性 3、MNS的最佳实践及场景应用 本节课介绍消息队列的MNS的最佳实践及场景应用案例 4、手把手系列:消息队列MNS实操讲 本节课介绍消息队列的MNS的实际操作演示 5、动手实验:基于MNS,0基础轻松构建 Web Client 本节课带您一起基于MNS,0基础轻松构建 Web Client
目录
相关文章
|
3月前
|
消息中间件 弹性计算 Kubernetes
RabbitMQ与容器化技术的集成实践
【8月更文第28天】RabbitMQ 是一个开源消息代理和队列服务器,用于在分布式系统中存储、转发消息。随着微服务架构的普及,容器化技术(如 Docker 和 Kubernetes)成为了部署和管理应用程序的标准方式。本文将探讨如何使用 Docker 和 Kubernetes 在生产环境中部署和管理 RabbitMQ 服务,同时保证高可用性和弹性伸缩能力。
66 3
|
1月前
|
消息中间件 Java 数据库
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
这里 借助 Seata 集成 RocketMQ 事务消息的 新功能,介绍一下一个新遇到的面试题:如果如何实现 **强弱一致性 结合**的分布式事务?
新版 Seata 集成 RocketMQ事务消息,越来越 牛X 了!阿里的 Seata , yyds !
|
3月前
|
消息中间件 分布式计算 大数据
RabbitMQ与大数据平台的集成
【8月更文第28天】在现代的大数据处理架构中,消息队列作为数据传输的关键组件扮演着重要的角色。RabbitMQ 是一个开源的消息代理软件,它支持多种消息协议,能够为分布式系统提供可靠的消息传递服务。本篇文章将探讨如何使用 RabbitMQ 与 Hadoop 和 Spark 进行集成,以实现高效的数据处理和分析。
38 1
|
3月前
|
消息中间件 存储 Java
【揭秘】RocketMQ内部运作大揭秘:一探究竟,原来消息队列是这样工作的!
【8月更文挑战第19天】RocketMQ是一款高性能、高可用的消息中间件,在分布式系统中至关重要。它采用发布/订阅模式,支持高吞吐量的消息传递。核心组件包括管理元数据的NameServer、存储消息的Broker以及Producer和Consumer。RocketMQ支持发布/订阅与点对点两种模型,并具备复杂的消息持久化和路由机制。通过Java API示例,可轻松实现消息的发送与接收。RocketMQ凭借其出色的特性和可靠性,成为大型分布式系统首选的消息解决方案。
73 5
|
4月前
|
消息中间件 缓存 IDE
MetaQ/RocketMQ 原理问题之消息队列中间件的问题如何解决
MetaQ/RocketMQ 原理问题之消息队列中间件的问题如何解决
|
3月前
|
消息中间件 存储 缓存
RocketMQ - 消费者概述
RocketMQ - 消费者概述
63 0
|
4月前
|
消息中间件 Java 测试技术
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
【RocketMQ系列八】SpringBoot集成RocketMQ-实现普通消息和事务消息
319 1
|
4月前
|
消息中间件 存储 Java
消息队列 MQ使用问题之如何将RocketMQ中某个集群的topic迁移到另一个集群
消息队列(MQ)是一种用于异步通信和解耦的应用程序间消息传递的服务,广泛应用于分布式系统中。针对不同的MQ产品,如阿里云的RocketMQ、RabbitMQ等,它们在实现上述场景时可能会有不同的特性和优势,比如RocketMQ强调高吞吐量、低延迟和高可用性,适合大规模分布式系统;而RabbitMQ则以其灵活的路由规则和丰富的协议支持受到青睐。下面是一些常见的消息队列MQ产品的使用场景合集,这些场景涵盖了多种行业和业务需求。
|
4月前
|
消息中间件 存储 RocketMQ
MetaQ/RocketMQ 原理问题之在解耦场景中,消息队列工作的问题如何解决
MetaQ/RocketMQ 原理问题之在解耦场景中,消息队列工作的问题如何解决
|
4月前
|
消息中间件 Java 数据安全/隐私保护
Spring Boot与RabbitMQ的集成
Spring Boot与RabbitMQ的集成