开发者社区> 问答> 正文

是否支持mysql与es的实时同步?

你好,我手上的一个项目由于数据量很大可能是亿级别的,需要用到递归查询出关联ID,然后通过关联ID查询出业务数据。所以想问下 是否支持mysql与es是否能实时同步 或者 间隔1s同步 ?

原提问者GitHub用户yzhuwei

展开
收起
数据大拿 2023-05-04 18:35:54 111 0
2 条回答
写回答
取消 提交回答
  • wiki里有介绍同步到ES

    原回答者GitHub用户agapple

    2023-05-05 10:51:37
    赞同 展开评论 打赏
  • MySQL与Elasticsearch可以通过一些工具或者中间件实现实时同步。一般来说,实时同步需要满足以下两个条件:

    1、数据变更的实时感知。MySQL本身不支持实时感知数据变更,但可以通过数据库Binlog(二进制日志)技术来实现。Binlog是MySQL数据库用于记录数据变更操作的一种技术,可以在数据库发生数据变更时立即产生,并在后续通过一些机制将数据变更操作记录同步到外部处理系统(如Elasticsearch)。

    2、数据变更的实时同步。基于Binlog技术,可以使用一些工具或者中间件来完成MySQL与Elasticsearch之间的数据同步。其中,一些第三方工具如Debezium、Canal等可以通过监听Binlog变化,将MySQL数据实时同步到外部存储系统中,如Elasticsearch、Kafka等。此外,部分云厂商也提供了一些针对MySQL与Elasticsearch实时同步的解决方案。

    总之,基于Binlog技术和第三方工具,MySQL和Elasticsearch之间是可以实现比较实时的数据同步的。但在实践中,需要考虑各种因素,如数据同步效率、数据一致性、系统复杂度等,并根据具体的业务场景进行选择和配置。

    2023-05-05 07:54:15
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
One Box: 解读事务与分析一体化数据库 HybridDB for MySQL 立即下载
One Box:解读事务与分析一体化数据库HybridDB for MySQL 立即下载
如何支撑HTAP场景-HybridDB for MySQL系统架构和技术演进 立即下载

相关镜像