ES中如何实现随机抽样查询-阿里云开发者社区

ES中如何实现随机抽样查询

2022-10-20 1064

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： ES中如何实现随机抽样查询

一、场景说明

索引中有几千万的数据，现在需要每次查询随机抽样返回10条数据，怎么实现？

二、实现方式

DSL语句执行如下：

GET myIndex/_search
{
  "from": 0,
  "size": 20,
  "timeout": "10s",
  "sort": {
    "_script": {
      "script": "Math.random()",
      "type": "number",
      "order": "asc"
    }
  }
}

java代码实现：

private void randomSort(SearchSourceBuilder sourceBuilder){
    Script script = new Script("Math.random()");
    ScriptSortBuilder sortBuilder = new ScriptSortBuilder(script, ScriptSortBuilder.ScriptSortType.NUMBER);
    sourceBuilder.sort(sortBuilder);
}

三、注意事项

实际开发过程中发现，如果对索引中的全量数据进行随机抽样查询是非常消耗查询性能的。

我遇到的情况：

生产环境上，8千万多万数据的索引进行随机抽样查询耗时5s，这种查询速度显然是不能接受的。

优化改进：

sort排序是针对匹配的所有数据进行排序，而8000多万数据的随机排序，显然非常耗时。

我们可以在查询条件中增加一些随机查询条件，比如主键id的随机前缀匹配，数据产生时间的随机范围匹配，

从而减轻随机匹配的性能损耗。

由于我的索引数据中id的前缀都是在0～9，所以我在每次查询时，先生成0～9的随机数，然后去匹配主键id做前缀匹配。

{
  "query": {
    "wildcard": {
      "id": {
        "value": "1*"
      }
    }
  }
  ,"sort":[{"_script":{"script":{"source":"Math.random()","lang":"painless"},"type":"number","order":"asc"}}]
}