Elastic:如何查询特殊字符

简介: 某些业务场景下我们需要使用特殊符号来进行查询,但是es的默认分词器以及ik分词器等大多数分词器都会将特殊符号过滤掉,导致后续无法通过特殊符号查询到数据。那么我们如何来解决这个问题呢,下面列举出几种处理方案

0 引言

某些业务场景下我们需要使用特殊符号来进行查询,但是es的默认分词器以及ik分词器等大多数分词器都会将特殊符号过滤掉,导致后续无法通过特殊符号查询到数据。

那么我们如何来解决这个问题呢,下面列举出几种处理方案

1 问题复现

1、设置mapping

PUT test_special
{
  "mappings": {
    "properties": {
      "name": {
        "type": "text", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

2、插入带有特殊符号的数据

PUT test_special/_doc/1
{"name":"55555@#!sina.com"}

3、通过‘@’去查询原数据

GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#!"
    }
  }
}

4、结果为空

"hits" : {
    "total" : {
      "value" : 0,
      "relation" : "eq"
    },
    "max_score" : null,
    "hits" : [ ]
  }

2 解决方案

2.1 使用keyword查询

首先从业务层考虑,是否需要单个的特殊符号查询,还是说是带上特殊符号的查询词搜索,所以先从最简单的用keyword+term查询试试看能够满足业务需求

GET test_special/_search
{
  "query": {
    "term": {
      "name.keyword": "55555@#!sina.com"
    }
  }
}

2.2 mapping映射,防止过滤

这里的特殊字符的别名用两个点隔开,并且加上了xxx前缀,点的作用是为了让其被单独分词,也可以替换成逗号,前缀的目的是为了让特殊字符的别名唯一,后续插入的数据不会和这个重复。xxx可以是你公司的名称或者其他含义的前缀。

PUT test_special
{
  "settings": {
    "analysis": {
      "analyzer": {
        "special_analyzer": {
          "tokenizer": "standard",
          "char_filter": [
            "special_mapping"
          ]
        }
      },
      "char_filter": {
        "special_mapping":{
          "type": "mapping",
          "mappings": [
            "@=>.xxxAt.",
            "#=>.xxxJin.",
            "!=>.xxxSigh.",
            "*=>.xxxXing."
          ]
        }
      }
    }
  }, 
  "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "special_analyzer", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

如上方法的原理是将特殊字符转换为能识别的普通字符组合,只是这个字符组合具备唯一性,我们单独查看下分词结果就能一目了然

GET test_special/_analyze
{
  "analyzer": "special_analyzer", 
  "text": [
    "55555@#*sina.com"
  ]
} 

分词结果

"tokens" : [
    {
      "token" : "55555",
      "start_offset" : 0,
      "end_offset" : 5,
      "type" : "<NUM>",
      "position" : 0
    },
    {
      "token" : "xxxAt",
      "start_offset" : 5,
      "end_offset" : 5,
      "type" : "<ALPHANUM>",
      "position" : 1
    },
    {
      "token" : "xxxJin",
      "start_offset" : 6,
      "end_offset" : 6,
      "type" : "<ALPHANUM>",
      "position" : 2
    },
    {
      "token" : "xxxXing.sina.com",
      "start_offset" : 7,
      "end_offset" : 16,
      "type" : "<ALPHANUM>",
      "position" : 3
    }
  ]

查询测试

GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#*"
    }
  }
}

结果中可以将数据查询出来,查询词在查询时因为使用的match查询,因此也会被分词,并且调用的分词器就是查询字段的分词器,因此特殊符号就被替换且分词为了:xxxAt,xxxJin,xxxXing,通过这些分词是可以查询到结果的

"hits" : [
      {
        "_index" : "test_special",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.5098253,
        "_source" : {
          "name" : "55555@#!sina.com"
        }
      }
    ]

后续如果有新的特殊字符如何更新呢?
官方文档中有介绍,mapping char filter中除了直接写mappings外,还可以通过mappings_path,将mappings内容写到文本文件中,然后在mappings_path中配置这个文件的路径,就可以直接从这个文件中读取,下次更新时就更新文件,然后重启集群即可。这里需要注意的是该文本必须是UTF-8编码的,同时mappings_path路径要么是绝对路径要么是基于es config路径的相对路径

2.2 ngram分词器,设置min_gram为1

es中还提供了一个ngram分词器,可以将字段按照指定的长度进行分词

我们先通过一个实例来体会它的作用,比如字符串“12345”,设置了如下的分词器,那么分词结果就是1,12,2,23,3,34,4,45,5

也就是说它会将其按照最小长度为1,最大长度为2的范围进行分词。同时如何字符串中包含特殊字符或者空格也会保留,将其按照一个字符处理

"tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 2 
        }
      }

因此,我们创建索引,这里的min_gram必须设置为1,max_gram可以根据业务情况设置

PUT test_special
{
  "settings": {
    "analysis": {
      "analyzer": {
        "special_analyzer": {
          "tokenizer": "ngram_tokenizer"
        }
      },
      "tokenizer": {
        "ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 1,
          "max_gram": 2 
        }
      }
    }
  },
 "mappings": {
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "special_analyzer", 
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

插入数据,并查询测试

PUT test_special/_doc/1
{"name":"55555@#!sina.com"}
 
GET test_special/_search
{
  "query": {
    "match": {
      "name": "@#!"
    }
  }
}

结果

"hits" : [
      {
        "_index" : "test_special",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 1.4384104,
        "_source" : {
          "name" : "55555@#!sina.com"
        }
      }
    ]

优缺点:

这种方式分隔的粒度很小,能够很准确的查询到我们要的数据,但是同时也因为其粒度很小,所以会占用很多空间,因此使用时需要综合考虑,是否真的需要这种空间换取时间的做法

2.3 其他解决方案

1、另外还可以通过修改lucene源码的方式来跳过特殊字符过滤
2、也可以用一些第三方插件来解决,比如elasticsearch-analysis-hanlp
3、同时考虑到java中有转义符的存在,推测es中应该也有类似的处理,但是尝试使用转义符插入数据会报错,可能用法不对

如果有知道其他方式的小伙伴也可以留言告诉我


更多文章关注:Elasticsearch之家

目录
相关文章
|
自然语言处理 算法 搜索推荐
ES-IK分词器的概念和基本使用
ES-IK分词器的概念和基本使用
537 2
|
SQL 存储 关系型数据库
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
解析MySQL Binlog:从零开始的入门指南【binlog入门指南】
13123 0
|
canal 消息中间件 存储
手把手告诉你如何监听 MySQL binlog 实现数据变化后的实时通知!
Hello 大家好,我是阿粉。不知道大家在日常的工作中有没有遇到这样的场景,很多时候业务数据有变更需要及时加载到缓存、ES 或者发送到消息队列中通知下游服务。
7018 0
手把手告诉你如何监听 MySQL binlog 实现数据变化后的实时通知!
|
Java 中间件 应用服务中间件
慎重!springboot中用undertow踩坑记
场景:准备基于springboot的静态资源实现mp4资源的播放,不同版本的springboot下效果不一样,可能导致正常的资源不可用。本文测试了几个版本,也针对这种情况提出了解决建议,希望对你的工作有所帮助。
2093 0
慎重!springboot中用undertow踩坑记
|
SQL Java 数据库连接
Springboot JPA日志输出打印SQL语句和传入的参数 高阶篇
Springboot JPA日志输出打印SQL语句和传入的参数 高阶篇
3981 0
Springboot JPA日志输出打印SQL语句和传入的参数 高阶篇
|
10月前
|
人工智能 API
通过API调用通义千问时出现DataInspectionFailed的解决办法(玄学版)
在使用qwen-plus API进行长文本翻译时,遇到了DataInspectionFailed错误,提示输入数据可能包含不当内容。尽管确认文本无敏感内容,但误判依然发生。通过将每个分段的字符数从1000降低到700,问题得以解决。建议在处理长文本时,减少每次请求的字符数以避免误判。
3038 6
|
自然语言处理 搜索推荐
在Elasticsearch 7.9.2中安装IK分词器并进行自定义词典配置
在Elasticsearch 7.9.2中安装IK分词器并进行自定义词典配置
1367 1
|
自然语言处理 应用服务中间件 nginx
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
这篇文章是关于如何在Elasticsearch中安装和使用ik分词器的详细教程,包括版本匹配、安装步骤、分词测试、自定义词库配置以及创建使用ik分词器的索引的方法。
一文教会你 分词器elasticsearch-analysis-ik 的安装使用【自定义分词库】
|
存储 Java API
ES多字段匹配查询时的权重控制
ES多字段匹配查询时的权重控制
1078 0
ES多字段匹配查询时的权重控制
|
Kubernetes 容器
Kubernetes(K8S) 拉取镜像 ImagePullBackOff pull access denied
Kubernetes(K8S) 拉取镜像 ImagePullBackOff pull access denied
484 0