Elasticsearch评分相关度算法解析
TF算法
TF算法，全称 Term frequency ，索引词频率算法。意义就像它的名字，会根据索引词的频率来计算，索引词出现的次数越多，分数越高。
例子如下
- 搜索
hello
有两份文档：A文档：hello world!,B文档：hello hello hello
结果是B文档的 score 大于A文档。
- 搜索
hello world
有两份文档：A文档：hello world!,B文档：hello,are you ok?
结果是A文档的score大于B文档。
要根据索引词来综合考虑。
如果不在意词在某个字段中出现的频次，而只在意是否出现过，则可以在字段映射中禁用词频统计
{ "mappings": { "_doc": { "properties": { "text": { "type": "string", "index_options": "docs" } } } } }
将参数 index_options 设置为 docs 可以禁用词频统计及词频位置，这个映射的字段不会计算词的出现次数，对于短语或近似查询也不可用。要求精确查询的 not_analyzed 字符串字段会默认使用该设置。
IDF算法
IDF 算法全称 Inverse Document Frequency ，逆文本频率。搜索文本的词在整个索引的所有文档中出现的次数越多，这个词所占的 score 的比重就越低。
例子如下
搜索hello world,其中索引中hello出现次数1000次，world出现100次。
有三份文档：A 文档 hello,are you ok? , B 文档 The world is interesting! , C 文档 hello world!
结果是：C>B>A
由于hello出现频率高，所以单个hello得到的score比不上world。
Field-length norm算法 (字段长度归一值)
- 字段的长度是多少？
字段越短，字段的权重越高 。如果词出现在类似标题 title 这样的字段，要比它出现在内容 body 这样的字段中的相关度更高。
例子如下：
搜索 hello world!
有两份文档：A文档 hello world! ,B文档 hello world,I'm xxx!
结果是：A>B
词频（term frequency）、逆向文档频率（inverse document frequency）和字段长度归一值（field-length norm）——是在索引时计算并存储的。 最后将它们结合在一起计算单个词在特定文档中的 权重 。
当然，查询通常不止一个词，所以需要一种合并多词权重的方式——向量空间模型（vector space model）。
三种算法的综合
（下面属于理论分析，并不真实这样计算）
TF 算法针对在 Field 中，索引词出现的频率；
IDF 算法针对在整个索引中的索引词出现的频率；
Field-length norm 算法针对 Field 的长度。
那么可以这样分析，由于 Field-length norm 算法并不直接针对 score ，所以它是最后起作用的，它理论上类似于一个除数。而 TF 和 IDF 是平等的， IDF 计算出每一个索引词的 score 量， TF 来计算整个文档中索引词的 score 的加和。
- 也就是如下的计算：
- IDF：计算索引词的单位
score，比如hello=0.1,world=0.2， - TF：计算整个文档的
sum(score)，hello world!I'm xxx.得到0.1+0.2=0.3 - Field-length norm：将
sum(score)/对应Field的长度，得出的结果就是score。
利用score计算API分析
创建模拟数据
- PUT /test-7
{ "settings": { "index":{ "number_of_shards":3, "number_of_replicas":1 } }, "mappings": { "properties": { "name":{ "type": "text" } } } }
- PUT /test-7/_doc/1
{ "name": "li feng" }
- PUT /test-7/_doc/2
{ "name": "li er" }
explain分析
- /test-7/_doc/_search?explain=true
{ "query": { "match": { "name": "li" } } }
- 响应
{ "took": 1, "timed_out": false, "_shards": { "total": 3, "successful": 3, "skipped": 0, "failed": 0 }, "hits": { "total": { "value": 2, "relation": "eq" }, "max_score": 0.2876821, "hits": [ { "_shard": "[test-7][1]", "_node": "DpJZ5rhrStKpiur5hZ_ilw", "_index": "test-7", "_type": "_doc", "_id": "2", "_score": 0.2876821, "_source": { "name": "li er" }, // 先列出分数 "_explanation": { "value": 0.2876821, // 分数的组成， details详细分析 "description": "weight(name:li in 0) [PerFieldSimilarity], result of:", // 解释分数 "details": [ { "value": 0.2876821, "description": "score(freq=1.0), computed as boost * idf * tf from:", "details": [ { "value": 2.2, "description": "boost", "details": [] }, { "value": 0.2876821, "description": "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:", // 逆文本频率 计算 idf "details": [ { "value": 1, // 表示从当前分片中匹配到的文档记录数 "description": "n, number of documents containing term", "details": [] }, { "value": 1, // 表示的是当前查询记录所处的分片上当前索引的文档数； 如果我们有多个分片，那么索引数据会被存储到多个分片上，每个分片上的文档记录数相加，得到的就是当前索引的文档总计录数了 "description": "N, total number of documents with field", "details": [] } ] }, { "value": 0.45454544, "description": "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:", // 索引词频率计算 tf "details": [ { "value": 1.0, // 检索关键词组在被检索字段的词组中出现的频率，即出现了多少次，比如上面的执行计划搜索 li 在字段中出现1次 即为1 "description": "freq, occurrences of term within document", "details": [] }, { "value": 1.2, // 词的饱和度值，默认值为1.2 "description": "k1, term saturation parameter", "details": [] }, { "value": 0.75, // 长度归一化评分 默认值为0.75 "description": "b, length normalization parameter", "details": [] }, { "value": 2.0, // 被检索字段分词后的词组长度 "description": "dl, length of field", "details": [] }, { "value": 2.0, // 分片中当前被检索字段的平均词组数值 "description": "avgdl, average length of field", "details": [] } ] } ] } ] } }, { "_shard": "[test-7][2]", "_node": "DpJZ5rhrStKpiur5hZ_ilw", "_index": "test-7", "_type": "_doc", "_id": "1", "_score": 0.2876821, "_source": { "name": "li feng" }, "_explanation": { "value": 0.2876821, "description": "weight(name:li in 0) [PerFieldSimilarity], result of:", "details": [ { "value": 0.2876821, "description": "score(freq=1.0), computed as boost * idf * tf from:", "details": [ { "value": 2.2, "description": "boost", "details": [] }, { "value": 0.2876821, "description": "idf, computed as log(1 + (N - n + 0.5) / (n + 0.5)) from:", "details": [ { "value": 1, "description": "n, number of documents containing term", "details": [] }, { "value": 1, "description": "N, total number of documents with field", "details": [] } ] }, { "value": 0.45454544, "description": "tf, computed as freq / (freq + k1 * (1 - b + b * dl / avgdl)) from:", "details": [ { "value": 1.0, "description": "freq, occurrences of term within document", "details": [] }, { "value": 1.2, "description": "k1, term saturation parameter", "details": [] }, { "value": 0.75, "description": "b, length normalization parameter", "details": [] }, { "value": 2.0, "description": "dl, length of field", "details": [] }, { "value": 2.0, "description": "avgdl, average length of field", "details": [] } ] } ] } ] } } ] } }
上面还有一个 boost，这个我们解释一下，
对于每一个 term 的权值，其默认值为2.2，我们可以在创建索引 mapping 结构的时候指定字段的 boost 的值，更多情况下，我们可以使用 boost 来作为 ES搜索结果的调优方案，比如搜索文档标题我们可以将boost 权重设置大一些，在搜索文档内容的时候，我们可以将 boost 权重设置小一些，从而实现动态的调整搜索结果，实现搜索不同的字段计算权重不同
