关于从数据库到Elasticsearch的数据同步,通用方案可借助云上产品或开源方案实现MySQL向ES进行全量数据同步,当业务系统产生业务表信息变更时,由增量数据更新的方式补充/变更ES中的数据。增量更新主要是以mysql binlog订阅的方式,利用DTS、Canal、Logstash或DataWorks等多种工具实现。这其中会有几个常见问题,一方面,通过MySQL到ES增量同步会有一定的延迟,当RDS主库产生较大负载,会无法保证ES的数据写入;而Canal在实际的测试过程中有数据延迟和数据丢失,需要每天晚上再手动做一次同步。 这种情况下,我们为保证数据的时效性,选择了另一种方案,直接通过业务系统实现对MySQL和ES双写,自行保证两条链路的质量。并在业务端通过补偿脚本,保证两条链路的数据均写入成功才算写入成功,否则会回滚重试,以保证整体数据一致性。以上信息摘自《大数据与ai的16种可能》,下载地址:https://developer.aliyun.com/topic/download?id=8237
hbase? 使用场景 大版本升级:HBase1.x升级HBase2.x。
跨地域迁移 :例如从青岛机房迁移到北京机房。
集群升配:从4核8G迁移到8核16G集群。
业务拆分:将部分业务迁移到新的集群。
功能列表 支持094、098、1.x、2.x、Lindorm任意版本之间的不停机迁移。
支持表结构迁移、实时数据同步、全量数据迁移。
支持整库迁移、namespace迁移、表级别迁移。
迁移支持表重命名。
迁移支持指定时间范围、rowkey范围、指定列。
提供Open API,支持调用API创建迁移任务。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。