开源这里目前有几个问题会有隐患:
1)多副本时,不保证所有副本都成功,可能会异常只写一个leader成功就算成功,如果还没有来得及同步,leader也挂了,那么就可能会出出现数据丢失了。
2)插入数据时,某部分语法的异常,lily indexer没有catch住不断重试,这部分就会被略过了,这个是现在开源的默认唯一动作
3) 同步索引过程中,没有版本的概念,WAL的replication只是按照 RS级别有序,如果一个rowkey1开始在RS1,积压了很多wal没有同步,因为某种原因rowkey1转到RS2,这个时候RS2没有什么wal积压,这个时候rowkey1的最新修改可能会被先同步到solr。
而原来的RS1上的大量wal,可能到来时间是比较晚一点,但正因如此,这些晚到的旧数据会覆盖掉新的数据。
更多hbase+solr+indexer的一些局限性、有点,请参考 https://yq.aliyun.com/articles/687098
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。