暂无个人介绍
暂时未有相关通用技术能力~
阿里云技能认证
详细说明2019年11月
之前碰到过有人遇到大量的wal积压,原因是indexer删除某个测试索引的时候,没有删干净,导致这个关联的主表后来的wal都没有删除,大量的积压不可消费timeout。异常timeout的原因无用的索引导致的。如果自己搭建的话,建议搞清楚这个索引映射关系,按着这个链路查看timeout的源头是什么
像这种情况,可以使用facet计数,设置facet的field为 你说的 “某个字段” 即可,查询结果中,facet info中带有按照“某个字段” 分类进行计数。当然,使用stats也可以; 相关demo可以参考 github中的solr相关demo “https://github.com/aliyun/aliyun-apsaradb-hbase-demo/”
hbase删除数据比较简单,truncate一下就行。
solr删除所有数据,可以参考:
CloudSolrClient client = new CloudSolrClient.Builder().withZkChroot(zkroot).withZkHost(zkhost).build());
UpdateResponse response = client.deleteByQuery(collection,"f9_i:[0 TO 5]");
System.out.println(response);
命令行方式可以参考:
curl -X POST -H 'Content-Type: application/json'
'http://localhost:8983/solr/my_collection/update' --data-binary '
{
"delete": { "query":":" } / delete by query all /
}'
二级索引其实还是比较通用的叫法,每个索引都可以称为hbase的二级索引。目前我们常说的phoenix二级索引,是指的phoenix提供的全局索引和局部索引,这些索引都是使用hbase的rowkey特点来实现的。solr给hbase提供的索引叫全文索引,相关的介绍可以参考:
https://yq.aliyun.com/articles/687098
另外,如果你对阿里云HBase集成solr感兴趣,可以咨询“阿里云hbase答疑”客服,阿里云hbase自2019年1月22日之后,陆续开放控制台可以用户自行开启 全文索引服务。
lily indexer的同步过程中,如果更新的数据中,没有包含所有需要的列,它需要配置read-row为dynamic,让indexer回读完整数据,这样插入覆盖时,document的数据才全,否则就出现你这个情况。
你好,可以参考资料:https://yq.aliyun.com/articles/687098
如果是使用阿里云HBase,参考hbase帮助文档,2019年1月22日之后,会陆续发布hbase for solr全文索引服务,用户可以自行在
控制台开启solr全文索引服务。更多资料或者问题,还可以咨询“阿里云hbase答疑”客服了解更多
replication机制会有一些延时,如果很久没看到数据,可能就是你配置错了。
如果是丢数据问题,参考这个问题下面的回答:https://yq.aliyun.com/ask/448779?spm=a2c4e.11153959.0.0.31b4164aa0dZCO
开源这里目前有几个问题会有隐患:
1)多副本时,不保证所有副本都成功,可能会异常只写一个leader成功就算成功,如果还没有来得及同步,leader也挂了,那么就可能会出出现数据丢失了。
2)插入数据时,某部分语法的异常,lily indexer没有catch住不断重试,这部分就会被略过了,这个是现在开源的默认唯一动作
3) 同步索引过程中,没有版本的概念,WAL的replication只是按照 RS级别有序,如果一个rowkey1开始在RS1,积压了很多wal没有同步,因为某种原因rowkey1转到RS2,这个时候RS2没有什么wal积压,这个时候rowkey1的最新修改可能会被先同步到solr。
而原来的RS1上的大量wal,可能到来时间是比较晚一点,但正因如此,这些晚到的旧数据会覆盖掉新的数据。
更多hbase+solr+indexer的一些局限性、有点,请参考 https://yq.aliyun.com/articles/687098
提出的hbase+es和hbase+phoenix的比较,那么你应该会有一些查询需求,可能rowkey无法满足的,而phoenix的最重要的
部分就是二级索引,扩充更多额rowkey设计机会,但是毕竟还是rowkey方式,rowkey总有它的查询局限性。
阿里云HBase提供了 类似的方案,hbase+solr,详情参看 https://yq.aliyun.com/articles/687098 资料对比适用的 场景,供参考。