开发者社区> 问答> 正文

数据全增量同步方案指的是什么?

已解决

数据全增量同步方案指的是什么?

展开
收起
与时俱进的探索者 2022-04-07 21:37:46 875 0
2 条回答
写回答
取消 提交回答
  • 推荐回答

    关于从数据库到Elasticsearch的数据同步,通用方案可借助云上产品或开源方案实现MySQL向ES进行全量数据同步,当业务系统产生业务表信息变更时,由增量数据更新的方式补充/变更ES中的数据。增量更新主要是以mysql binlog订阅的方式,利用DTS、Canal、Logstash或DataWorks等多种工具实现。这其中会有几个常见问题,一方面,通过MySQL到ES增量同步会有一定的延迟,当RDS主库产生较大负载,会无法保证ES的数据写入;而Canal在实际的测试过程中有数据延迟和数据丢失,需要每天晚上再手动做一次同步。 这种情况下,我们为保证数据的时效性,选择了另一种方案,直接通过业务系统实现对MySQL和ES双写,自行保证两条链路的质量。并在业务端通过补偿脚本,保证两条链路的数据均写入成功才算写入成功,否则会回滚重试,以保证整体数据一致性。以上信息摘自《大数据与ai的16种可能》,下载地址:https://developer.aliyun.com/topic/download?id=8237

    2022-04-09 10:50:05
    赞同 展开评论 打赏
  • hbase? 使用场景 大版本升级:HBase1.x升级HBase2.x。

    跨地域迁移 :例如从青岛机房迁移到北京机房。

    集群升配:从4核8G迁移到8核16G集群。

    业务拆分:将部分业务迁移到新的集群。

    功能列表 支持094、098、1.x、2.x、Lindorm任意版本之间的不停机迁移。

    支持表结构迁移、实时数据同步、全量数据迁移。

    支持整库迁移、namespace迁移、表级别迁移。

    迁移支持表重命名。

    迁移支持指定时间范围、rowkey范围、指定列。

    提供Open API,支持调用API创建迁移任务。

    2022-04-07 21:56:54
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
智能设计的增量 立即下载
Flink中的两类新型状态存储 立即下载
事务、全局索引、透明分布式 立即下载