IK分词器设置了停用词部分没有生效问题

简介: IK分词器设置了停用词部分没有生效问题

问题描述

新增停用词典的内容配置为:

一个男孩

一个女孩

通过热更新方式上传到了停用词库,实例重启后通过验证搜索,"一个女孩" 没有生效,如(图1),还是被检索到并分词返回了,另外一个停用词,"一个男孩" 就是生效的,如(图2)


问题原因

IK查询停用词召回的时候会先将查询词根据分词词库配置进行分词,比如"一个女孩"这个词会被分为"一个","女孩",之后会根据停用词库去看是否"一个","女孩"两个词再库内,如在库内就不会召回。

由于"一个女孩"这个词未在分词词库中配置,所以搜索的时候会分词为"一个","女孩"两个词,然后再使用停用词库去匹配就匹配不到。而"一个男孩"这个词再默认的主分词词库中就存在,所以不会进行分词,最后可以在停用词库匹配到"一个男孩"这个词,所以不会被召回。其过程是:先分词然后再根据分词的结果去匹配停用词库。


解决方案

不是配置的停用词没有生效,而是查询的过程中进行分词了分词的结果匹配不到停用词配置的"一个女孩"。解决办法是分词词库把"一个女孩"添加进入,后面搜索的时候就会发现该词不会被召回了。


适用范围

检索分析服务Elasticsearch版

相关文章
阿里云商标注册申请官方入口(附商标自助申请流程)
阿里云商标分为商标智能注册申请、商标安心注册申请和商标顾问注册申请
33582 4
阿里云商标注册申请官方入口(附商标自助申请流程)
|
JSON Dubbo 测试技术
逐步教你如何在Postman中导入Swagger API
在现代软件开发中,Swagger 和 Postman 作为 API 设计、开发和测试的利器,都被广泛应用。可以将 Swagger 定义的 API 导入到 Postman 中,充分利用 Postman 强大的测试特性对接口进行深入测试。
|
9月前
|
人工智能 数据可视化 搜索推荐
AI智能体实战指南:6大工具构建你的自动化工作流引擎
本文介绍2024年六大AI智能体工具:测试自动化(Playwright/Appium)、代码生成(Cursor/OpenCode)、AI工作流(ClawdBot/Dify/n8n)、短视频创作(FFmpeg/MoviePy)等,助开发者构建端到端自动化工作流,释放创造力。
|
7月前
|
人工智能 数据可视化 Python
LangGraph嵌套工作流:子父图状态兼容实操与异常排查
本文详解LangGraph嵌套工作流核心痛点——子父图状态不兼容导致的卡死、丢失、报错问题。手把手演示统一状态定义(dataclass)、子图正确返回、父图无缝嵌入三步实操,并附3类高频异常排查方案,助新手1天搞定避坑。
|
缓存 人工智能 NoSQL
Java中实现Token设置过期时间的方法
本文介绍了在Java应用中实现Token设置过期时间的多种方法,包括使用JWT和Redis缓存,并结合定时任务清理过期Token,以提升系统安全性与用户隐私保护。
1373 0
|
机器学习/深度学习 计算机视觉
YOLOv11改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含C2PSA二次创新)
YOLOv11改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含C2PSA二次创新)
1057 2
YOLOv11改进策略【注意力机制篇】| ICLR2023 高效计算与全局局部信息融合的 Sea_Attention 模块(含C2PSA二次创新)
|
机器学习/深度学习 编解码 算法
【YOLOv11改进 - 注意力机制】MLCA(Mixed local channel attention):混合局部通道注意力
【YOLOv11改进 - 注意力机制】MLCA(Mixed local channel attention):混合局部通道注意力本项目提出了一种轻量级的 Mixed Local Channel Attention (MLCA) 模块,结合通道信息和空间信息,提升网络表达效果。基于此模块,开发了 MobileNet-Attention-YOLO (MAY) 算法,在 Pascal VOC 和 SMID 数据集上表现优异,mAP 分别提高了 1.0% 和 1.5%。MLCA 通过局部池化、一维卷积和信息融合,有效捕获局部和全局信息。项目代码和详细配置可在 GitHub 和 CSDN 获取。
|
自然语言处理 Docker 容器
ElasticSearch 实现分词全文检索 - ES、Kibana、IK分词器安装
ElasticSearch 实现分词全文检索 - ES、Kibana、IK分词器安装
585 0
|
Java API Spring
Spring Boot中如何实现邮件发送功能
Spring Boot中如何实现邮件发送功能
|
微服务 应用服务中间件
微服务跨域(通过网关配置进行跨域)
在单体架构中,我们通常通过SpringMVC配置类实现CORS跨域支持,设置允许的来源、请求头、方法及凭证等。然而,在微服务架构下,因浏览器首先访问网关再进行服务路由,需在网关配置跨域。对于无SpringMVC环境的网关(如使用Gateway组件),我们可在YAML文件中配置`spring.cloud.gateway.globalcors`属性,以实现全局跨域支持。
1293 0