4.1.6.优化Elasticsearch中的打分（_score）
创作人：杨佳润
审稿人：朱荣鑫
在企业搜索中，很多场景下需要对搜索出来的文档按照相关性排序。对于排序，Elasticsearch 使用 sort 参数指定需要排序的字段，如果我们不使用 sort 指定排序字段，那么我们搜出来的文档默认就是按照文档的打分 _score 进行排序的；在工作中，当我们在Elasticsearch中使用默认的打分机制查询出一些需要的文档时，我们可能会产生一些疑问，为什么两篇文档内容一样但是打分不同；为什么打出来的分数是这样的；我如何改变这个分数；我想要让一些文档排在前面应该怎么做；我想要舍弃一些不相关的文档应该怎么做等等，这里我会分享几点来让我们的文档相关性排序变得更加合理。
一个普通的 _score 计算
对于 _socre 的计算，在 Elasticsearch5 开始默认使用 BM25 打分公式，BM25 通过逆文档评率 IDF、文档长度、文档词频等来计算文档的得分。我们对 text 类型的字段做 match、
match_phrase 查询，都会涉及到计算打分。在企业搜索中，搜索一个相关的商品，搜索一个相关的标题，都可以用 Elasticsearch 来实现，但是按照某个词语或者语句搜索出来的可能不止一个文档，对于哪些文档是比较相关的，应该排在什么位置，就是 _score 需要做的。在
Elasticsearch 中通过在 _search 请求中增加 "explain": true 来查看文档的打分情况，例如
我们用 Kibana 自带的索引样例来搜索，看下具体是怎么打分的。
GET kibana_sample_data_logs/_search // 用这个日志索引来进行搜索 { "query": { "match": { "message": "Safari" // 这里我们搜索一个在 message 中包含有 Safari 的文档 } }, "size": 1, "explain": true, // 为ture 就可以看到具体的打分情况 "_source": "message" // 只展示 message 字段 }
搜索的结果如下，具体打分逻辑可以参考注释：
{ "took" : 3, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 4619, "relation" : "eq" }, "max_score" : 1.1437778, "hits" : [ { "_shard" : "[kibana_sample_data_logs][0]", "_node" : "6xDQCS8iSFqnIQ-QMk64OQ", "_index" : "kibana_sample_data_logs", "_type" : "_doc", "_id" : "0_naI30BT0u6mQYeuKfv", "_score" : 1.1437778, // 这个分数就是这边文档的得分 "_source" : { "message" : """226.13.220.192 - - [2018-07-22T13:29:29.280Z] "GET / HTTP/1.1" 200 6795 "-" "Mozilla/5.0 (X11; Linux i686) AppleWebKit/534.24 (KHTML, like Gecko) Chrome/11.0.696.50 Safari/534.24"""" // 这里可以看到文档中 message 字段是包含 Safari 的 }, "_explanation" : { // 以下就是文档的打分细则，由多部分组成 "value" : 1.1437778, // 这里表示文档的总分 "description" : "weight(message:safari in 102) [PerFieldSimilarity], result of:" "details" : [ { "value" : 1.1437778, // 这里表示这个结构下的总分数 value = 2.2 * 1.1091993 * 0.46871558 ≈ 1.1437778 "description" : "score(freq=1.0), product of:", // 这利表示分数计算逻辑 _score = boost * idf * tf "details" : [ { "value" : 2.2, "description" : "boost", "details" : [ ] }, { "value" : 1.1091993, // idf （逆词频数）的分数 value = log(1 + (14005 - 4619) / (4619 + 0.5)) ≈ 1.1091993 "description" : "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:", // idf = log(1 + (N - n + 0.5) / (n + 0.5)) "details" : [ { "value" : 4619, "description" : "n, number of documents containing term", n 为 message 字段中包含 Safari 的文档个数 "details" : [ ] }, { "value" : 14005, "description" : "N, total number of documents with field", N 为文档总数 "details" : [ ] } ] }, { "value" : 0.46871558, // tf 词频 value = 1.0 / (1 + 1.2 * (1 - 0.75 + 0.75 * 25.0 / 26.99493)) ≈ 0.46871558 "description" : "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:", // tf = freq / (freq + k1 * (1 - b + b * dl / avgdl)) "details" : [ { "value" : 1.0, "description" : "freq, occurrences of term within document", // freq 文档中出现 Safari 的次数 "details" : [ ] }, { "value" : 1.2, "description" : "k1, term saturation parameter", "details" : [ ] }, { "value" : 0.75, "description" : "b, length normalization parameter", "details" : [ ] }, { "value" : 25.0, "description" : "dl, length of field", // 该文档 message 字段的长度 "details" : [ ] }, "details" : [ ] }, { "value" : 0.75, "description" : "b, length normalization parameter", "details" : [ ] }, { "value" : 25.0, "description" : "dl, length of field", // 该文档 message 字段的长度 "details" : [ ] }, } ] } ] } ] } } ] } }
《Elastic Stack 实战手册》——四、应用实践——4.1 企业搜索应用场景 ——4.1.6.优化Elasticsearch中的打分（_score）(中) https://developer.aliyun.com/article/1226240
