开发者社区 > 大数据与机器学习 > 检索分析服务 Elasticsearch版 > 正文

Mysql向ES同步用DTS数据订阅功能,发送到DTS的SDK的consumer吗?

Mysql向ES同步用DTS数据订阅功能,DTS能把mysql的两个表的数据合并成一条binlog,发送到DTS的SDK的consumer吗?业务去消费合并后的这条binlog数据呢?

展开
收起
哈喽!小陈 2022-08-29 17:50:13 1227 0
1 条回答
写回答
取消 提交回答
  • DTS 不支持将两个 MySQL 表的数据合并成一条 Binlog,因为在 MySQL 的 Binlog 中,每个 Binlog 都是针对一张表或一个数据库的,无法将多张表的数据合并到一条 Binlog 中。

    但是,您可以在 DTS 上设置两个 MySQL 数据源的数据同步任务,将两个表的数据分别同步到 Elasticsearch 中。这种方式下,您需要在 Elasticsearch 中设计好两个表的数据结构,然后分别将两个表的数据同步到不同的索引中。

    在消费 Elasticsearch 中的数据时,您可以将两个索引中的数据合并到一起。这种方式下,您需要根据 Elasticsearch 返回的结果,将来自不同索引的数据按照自己的业务逻辑进行合并,然后再进行消费。

    考虑到在消费时需要进行多次请求和数据处理,因此建议您使用 Logstash、Filebeat 等工具,将 Elasticsearch 中的数据合并后写入到消息队列中,在业务中从消息队列中获取数据进行消费。

    2023-05-25 14:09:35
    赞同 展开评论 打赏

阿里云检索分析服务Elasticsearch版兼容开源ELK功能,免运维全托管,提升企业数据检索与运维分析能力。

热门讨论

热门文章

相关电子书

更多
搭建电商项目架构连接MySQL 立即下载
搭建4层电商项目架构,实战连接MySQL 立即下载
PolarDB MySQL引擎重磅功能及产品能力盛大发布 立即下载

相关镜像