jieba分词有哪些模式,分别详细介绍

简介: jieba分词有哪些模式,分别详细介绍

jieba分词库提供了三种分词模式:精确模式、全模式和搜索引擎模式。下面分别介绍这三种模式的特点和适用场景:

1. 精确模式

精确模式是默认的分词模式,它试图将文本精确地切分成词语,适用于文本分析和挖掘等任务。在精确模式下,jieba分词库会对待分的句子进行全词匹配,找出所有可能的词语,然后依据词典中的词语频率计算出最可能的切分结果。

精确模式的调用方法是:jieba.cut(text, cut_all=False),其中 cut_all=False 表示精确模式。下面是一个示例:


import jieba
text = "我爱自然语言处理"
words = jieba.cut(text, cut_all=False)
print(list(words))

输出结果如下:


['我', '爱', '自然语言', '处理']

可以看到,jieba将输入的文本按照最大概率的方式分成了4个词语,其中“自然语言”被识别为一个词语。

2. 全模式

全模式是一种比较宽松的分词模式,它会将文本中所有可能的词语都分出来,适用于一些对速度要求比较高的场景。在全模式下,jieba分词库会对待分的句子进行正向最大匹配,即从前往后扫描文本,找到最长的可能词语,然后将其切分出来,再从新的位置开始继续扫描。

全模式的调用方法是:jieba.cut(text, cut_all=True),其中 cut_all=True 表示全模式。下面是一个示例:


import jieba
text = "我爱自然语言处理"
words = jieba.cut(text, cut_all=True)
print(list(words))

输出结果如下:

['我', '爱', '自然', '自然语言', '语言', '处理']

可以看到,jieba将输入的文本按照全模式的方式分成了6个词语。

3. 搜索引擎模式

搜索引擎模式是一种更加智能的分词模式,它在精确模式的基础上,对长词再次进行切分,适用于搜索引擎等场景。在搜索引擎模式下,jieba分词库会使用最大概率法分出一些比较长的词语,然后在这些长词中再次使用全模式进行切分,最终得到最可能的切分结果。


搜索引擎模式的调用方法是:jieba.cut_for_search(text)。下面是一个示例:

import jieba
text = "我爱自然语言处理"
words = jieba.cut_for_search(text)
print(list(words))

输出结果如下:

['我', '爱', '自然', '语言', '自然语言', '处理']

可以看到,jieba将输入的文本按照搜索引擎模式的方式分成了6个词语,其中“自然语言”被识别为一个词语,并且在后续的处理中被进一步切分成了“自然”和“语言”。

总体来说,jieba分词库的三种模式可以根据不同的任务和场景选择合适的方式进行分词,提高分词效果和效率。

相关文章
|
机器学习/深度学习 自然语言处理 算法
文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)
文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)
11420 145
|
Kubernetes 数据可视化 数据安全/隐私保护
云服务器CentOS8.2Docker图形化管理工具Portainer安装部署
云服务器CentOS8.2Docker图形化管理工具Portainer安装部署
991 0
云服务器CentOS8.2Docker图形化管理工具Portainer安装部署
|
机器学习/深度学习 算法 数据可视化
智能扑克牌识别软件(Python+YOLOv5深度学习模型+清新界面)
智能扑克牌识别软件(Python+YOLOv5深度学习模型+清新界面)
2347 0
|
10月前
|
数据采集 存储 API
Scrapy框架实战:大规模爬取华为应用市场应用详情数据
Scrapy框架实战:大规模爬取华为应用市场应用详情数据
|
12月前
|
数据采集 存储 算法
终于有人把数据挖掘讲明白了
在大数据时代,许多企业面临一个难题:数据存储量庞大,却难以从中挖掘真正价值。本文深入探讨了数据挖掘的核心概念与实践方法,解析了其与普通数据分析的区别,并通过真实案例展示了如何通过数据挖掘发现隐藏的业务规律。文章还详细介绍了数据挖掘的六个步骤及三大关键点,强调了业务理解与数据质量的重要性,帮助企业在实际应用中少走弯路,真正实现数据驱动决策。
终于有人把数据挖掘讲明白了
|
8月前
|
人工智能 自然语言处理 搜索推荐
实力派之选!五大领军数字人工具重磅推荐,重塑工作效率新高度
在数字经济加速渗透的当下,数字人工具已成为短视频创作、企业营销、跨境传播的效率利器。无论是新手博主还是企业团队,选对工具能让创作与运营效率倍增。本文围绕“数字人工具推荐”“数字人短视频工具推荐”核心需求,精选领军工具,按场景拆解适配方案,助你精准选型。
|
机器学习/深度学习 自然语言处理 搜索推荐
一文掌握jieba分词器的常见用法,附带案例
该文章全面介绍了jieba分词器的使用方法,包括安装步骤、不同分词模式的使用,以及如何通过实例代码进行文本分词处理。
2642 0
|
并行计算 异构计算
卸载原有的cuda,更新cuda
本文提供了一个更新CUDA版本的详细指南,包括如何查看当前CUDA版本、检查可安装的CUDA版本、卸载旧版本CUDA以及安装新版本的CUDA。
17580 3
卸载原有的cuda,更新cuda
|
存储 自然语言处理 关系型数据库
Elasticsearch 查询时 term、match、match_phrase、match_phrase_prefix 的区别
【7月更文挑战第3天】Elasticsearch 查询时 term、match、match_phrase、match_phrase_prefix 的区别