MySQL数据同步到ElasticSearch数据同步方案汇总

目录

• 1、同步双写
• 2、异步双写
• 3、定时任务
• 4、数据订阅

• Maxwell
• logstash
• mysql-binlog-connector-java
• go-mysql
• python-mysql-replication
• canal

1、同步双写

在写入MySQL，直接也同步往ES里写一份数据

2、异步双写

3、定时任务

4、数据订阅

Maxwell

logstash

• logstash同步MySQL数据到ElasticSearch

mysql-binlog-connector-java

• https://github.com/shyiko/mysql-binlog-connector-java 不再维护
• https://github.com/osheroff/mysql-binlog-connector-java Java版本
• https://juejin.cn/post/7102954844692873247
• Java监听mysql的binlog详解(mysql-binlog-connector)
• canal太复杂？试试这个超方便的binlog同步包，完美适配springboot

go-mysql

• https://github.com/go-mysql-org/go-mysql Golang版本

python-mysql-replication

• https://github.com/julien-duponchelle/python-mysql-replication Python版本

canal

• https://github.com/alibaba/canal 基于 MySQL 数据库binlog增量日志解析
  
• Canal监听mysql的binlog日志实现数据同步
  
• 如何把MySQL数据同步到Elasticsearch？
  
• 实战 | canal 实现Mysql到Elasticsearch实时增量同步
  
• Mysql+Canal+ElasticSearch实现数据同步
  
• 使用canal实现MySQL 8 全量同步数据到 ElasticSearch 7.15.2中 linux
  
• 通过Canal将MySQL数据同步到阿里云Elasticsearch