Lily HBase Indexer同步HBase二级索引到Solr丢失数据的问题-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Lily HBase Indexer同步HBase二级索引到Solr丢失数据的问题

hbase小助手 2018-11-15 13:41:09 1076

可能有哪些原因?

分布式数据库 Hbase
分享到
取消 提交回答
全部回答(1)
  • 天斯
    2019-07-17 23:14:35

    开源这里目前有几个问题会有隐患:
    1)多副本时,不保证所有副本都成功,可能会异常只写一个leader成功就算成功,如果还没有来得及同步,leader也挂了,那么就可能会出出现数据丢失了。
    2)插入数据时,某部分语法的异常,lily indexer没有catch住不断重试,这部分就会被略过了,这个是现在开源的默认唯一动作
    3) 同步索引过程中,没有版本的概念,WAL的replication只是按照 RS级别有序,如果一个rowkey1开始在RS1,积压了很多wal没有同步,因为某种原因rowkey1转到RS2,这个时候RS2没有什么wal积压,这个时候rowkey1的最新修改可能会被先同步到solr。
    而原来的RS1上的大量wal,可能到来时间是比较晚一点,但正因如此,这些晚到的旧数据会覆盖掉新的数据。

    更多hbase+solr+indexer的一些局限性、有点,请参考 https://yq.aliyun.com/articles/687098

    0 0
+ 订阅

分享数据库前沿,解构实战干货,推动数据库技术变革

推荐文章
相似问题
推荐课程