简介:easy-sync简介
这是一个通过读取 mysql binlog实现实时同步数据到elasticsearch的产品,操作比较简单,支持多个相同结构的分表同步,支持多个任务的配置和执行。另外当修改数据库结构后,重新索引的过程不会影响旧索引的执行,它是利用表名机制,只有新索引都同步完毕后才会替换旧索引。
+关注继续查看
easy-sync简介
这是一个通过读取 mysql binlog实现实时同步数据到elasticsearch的产品,操作比较简单,支持多个相同结构的分表同步,支持多个任务的配置和执行。另外当修改数据库结构后,重新索引的过程不会影响旧索引的执行,它是利用elasticsearch的别名机制,只有新索引都同步完毕后才会替换旧索引。
数据库同步是一个比较常见的需求,业务数据一般存储在一致性要求比较高的OLTP数据库中,在分析场景中往往需要OLAP数据库或者比较火的数据湖方案;CDC是数据库同步较为流行的方案,全称是Change Data Capture,主要用于捕捉数据库中变化的数据,然后根据变化的数据写入不同的目标存储。接下来是一些数据库CDC方案的调研及原理探讨,调研方案基于MySQL数据库。