知识分享之Golang——Bleve中的Token filters各种标记过滤器
背景
知识分享之Golang篇是我在日常使用Golang时学习到的各种各样的知识的记录，将其整理出来以文章的形式分享给大家，来进行共同学习。欢迎大家进行持续关注。
知识分享系列目前包含Java、Golang、Linux、Docker等等。
开发环境
- 系统：windows10
- 语言：Golang
- 组件库：Bleve
- golang版本：1.17
- 组件官网：http://blevesearch.com/
- 组件仓库：https://github.com/blevesearch/bleve
- 开源协议：Apache-2.0 License
内容
本节我们进行了解一下Bleve中的Token filters到底是能带来什么。Token filters这些标记过滤器都是对于我们分词后的标记进行进一步的分词，从而达到我们最终索引词更符合于我们日常的使用，下面开始跟着官方文档进行进一步了解。
Token filters，分析器按照名称引用标记过滤器。使用内置现有的或者自定义的均可以，可直接使用IndexMapping.AddCustomTokenFilter创建一个定制的过滤器，官方示例如下：
var m *IndexMapping = index.Mapping()
// 创建一个名为color_stop_filter的停止标记过滤器(stop_tokens_filter.Name)，该过滤器中过滤red、green、blue这些标记，这时我们就可以在自定义分析器（custom Analyzer）中引用它。
err := m.AddCustomTokenFilter("color_stop_filter", map[string]interface{}{
"type": stop_tokens_filter.Name,
"tokens": []interface{}{
"red",
"green",
"blue",
},
})
if err != nil {
log.Fatal(err)
}Apostrophe 撇号过滤器 ，它使用的名字是type: apostrophe_filter.Name，撇号过滤器会删除撇号后的所有字符。
Camel Case 驼峰式大小写过滤器，它将一个以驼峰命名的标记拆分为包含它的标记集合。例如camelCase标记将会被拆分为camel和Case。
CLD2，CLD2 标记过滤器将从每个标记中获取文本并将其传递给Compact Language Detection 2库。每个标记都被替换为与检测到的 ISO 639 语言代码相对应的新标记。输入文本应该已经转换为小写。
Compound Word Dictionary 复合词词典过滤器，复合词词典过滤器可让您提供组合成复合词的单词词典，并允许您单独为它们编制索引。
Edge n-gram 标记过滤器，它能将像n-gram一样的标记进行过滤出来，但是通常所有计算后的标记都以一侧为根（前面或者后面）。
Elision 省略过滤器，它可以识别并删除以术语为前缀并以撇号分割的文章。例如l'avion将会变成avion。省略过滤器配置了对包含文章的标记映射引用。
Keyword Marker关键词标记过滤器，它将识别关键词并将他们标记成关键词，然后再任何下面执行的分析器都会忽略这些关键词。关键词标记过滤器配置中有包含关键词的标记映射。
Length 长度过滤器
本文声明：
知识共享许可协议
本作品由 cn華少 采用 知识共享署名-非商业性使用 4.0 国际许可协议 进行许可。
