Python 中文分词:jieba库的使用

简介: Python基础入门jieba库的使用。如何安装,常用函数方法。老人与海、水浒传词频统计案例。
✅作者简介:人工智能专业本科在读,喜欢计算机与编程,写博客记录自己的学习历程。
🍎个人主页: 小嗷犬的博客
🍊个人信条:为天地立心,为生民立命,为往圣继绝学,为万世开太平。
🥭本文内容:Python 中文分词:jieba库的使用

1.jieba库的安装

jieba是Python中一个重要的第三方中文分词函数库,需要通过pip指令安装:
pip install jieba   
# 或者 
pip3 install jieba

2.常用函数方法

jieba库的常用函数方法如下:
函数 描述
jieba.cut(s) 精确模式,返回一个可迭代的数据类型
jieba.cut(s, cut_all=True) 全模式,输出文本s中所有可能单词
jieba.cut_for_search(s) 搜索引擎模式,适合搜索引擎建立索引的分词结果
jieba.lcut(s) 精确模式,返回一个列表类型,建议使用
jieba.lcut(s, cut_all=True) 全模式,返回一个列表类型,建议使用
jieba.add_word(w) 向分词词典中增加新词w
代码实例:
import jieba
print(jieba.lcut('Python是一种十分便捷的编程语言'))
print(jieba.lcut('Python是一种十分便捷的编程语言', cut_all=True))
print(jieba.lcut_for_search('Python是一种十分便捷的编程语言'))

3.jieba库的应用:文本词频统计

3.1 《The Old Man And the Sea》英文词频统计

import jieba
def getText():
    txt = open("Documents/《The Old Man And the Sea》.txt", "r", encoding='utf-8').read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

words  = getText().split()
counts = {}
for word in words:
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items[:10]
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))
# 输出:
# the        2751
# and        1458
# he         1221
# of          788
# to          555
# a           538
# it          528
# his         513
# in          503
# i           472
观察输出结果可以看到,高频单词大多数是冠词、代词、连接词等语法型词汇,并不能代表文章的含义。进一步,可以采用集合类型构建一个排除词汇库 excludes,在输出结果中排除这个词汇库中内容。
excludes = {"the","and","of","you","a","i","my","in","he","to","it","his","was",
            "that","is","but","him","as","on","not","with","had","said","now","for",
           "thought","they","have","then","were","from","could","there","out","be",
           "when","at","them","all","will","would","no","do","are","or","down","so",
            "up","what","if","back","one","can","must","this","too","more","again",
           "see","great","two"}

def getText():
    txt = open("Documents/《The Old Man And the Sea》.txt", "r", encoding='utf-8').read()
    txt = txt.lower()
    for ch in '!"#$%&()*+,-./:;<=>?@[\\]^_‘{|}~“”':
        txt = txt.replace(ch, " ")   #将文本中特殊字符替换为空格
    return txt

words  = getText().split()
counts = {}
for word in words:
    counts[word] = counts.get(word,0) + 1
for word in excludes:
    del(counts[word])
items = list(counts.items())
items[:10]
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(10):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))
# 输出:
# old         300
# man         298
# fish        281
# line        139
# water       107
# boy         105
# hand         91
# sea          67
# head         65
# come         60

3.2 《水浒传》人物出场统计

import jieba

txt = open("Documents/《水浒传》.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:  #排除单个字符的分词结果
        continue
    counts[word] = counts.get(word,0) + 1
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(15):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))
# 输出:
# 宋江         2538
# 两个         1733
# 一个         1399
# 李逵         1117
# 武松         1053
# 只见          917
# 如何          911
# 那里          858
# 哥哥          750
# 说道          729
# 林冲          720
# 军马          719
# 头领          707
# 吴用          654
# 众人          652
观察输出,我们发现结果中有非人名词汇,与英文词频统计类似,我们需要排除一些人名无关词汇。
import jieba
excludes = {'两个','一个','只见','如何','那里','哥哥','说道','军马',
           '头领','众人','这里','兄弟','出来','小人','梁山泊','这个',
           '今日','妇人','先锋','好汉','便是','人马','问道','起来',
           '甚么','因此','却是','我们','正是','三个','如此','且说',
           '不知','不是','只是','次日','不曾','呼延','不得','一面',
           '看时','不敢','如今','来到','当下','原来','将军','山寨',
           '喝道','兄长','只得','军士','里面','大喜','天子','一齐',
           '知府','性命','商议','小弟','那个','公人','将来','前面',
            '东京','喽罗','那厮','城中','弟兄','下山','不见','怎地',
            '上山','随即','不要'}



txt = open("Documents/《水浒传》.txt", "r", encoding='utf-8').read()
words  = jieba.lcut(txt)
counts = {}
for word in words:
    if len(word) == 1:
        continue
    elif word == "宋江道":
        rword = "宋江"
    else:
        rword = word
    counts[rword] = counts.get(rword,0) + 1
for word in excludes:
    del(counts[word])
items = list(counts.items())
items.sort(key=lambda x:x[1], reverse=True) 
for i in range(15):
    word, count = items[i]
    print ("{0:<10}{1:>5}".format(word, count))
# 输出:
# 宋江         3010
# 李逵         1117
# 武松         1053
# 林冲          720
# 吴用          654
# 卢俊义         546
# 鲁智深         356
# 戴宗          312
# 柴进          301
# 公孙胜         272
# 花荣          270
# 秦明          258
# 燕青          252
# 朱仝          245
# 晁盖          238
目录
相关文章
|
1月前
|
存储 人工智能 测试技术
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
本文介绍如何使用LangChain结合DeepSeek实现多轮对话,测开人员可借此自动生成测试用例,提升自动化测试效率。
293 125
如何使用LangChain的Python库结合DeepSeek进行多轮次对话?
|
1月前
|
监控 数据可视化 数据挖掘
Python Rich库使用指南:打造更美观的命令行应用
Rich库是Python的终端美化利器,支持彩色文本、智能表格、动态进度条和语法高亮,大幅提升命令行应用的可视化效果与用户体验。
108 0
|
3月前
|
存储 Web App开发 前端开发
Python + Requests库爬取动态Ajax分页数据
Python + Requests库爬取动态Ajax分页数据
|
13天前
|
数据可视化 关系型数据库 MySQL
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
本文详解基于Python的电影TOP250数据可视化大屏开发全流程,涵盖爬虫、数据存储、分析及可视化。使用requests+BeautifulSoup爬取数据,pandas存入MySQL,pyecharts实现柱状图、饼图、词云图、散点图等多种图表,并通过Page组件拖拽布局组合成大屏,支持多种主题切换,附完整源码与视频讲解。
94 4
【可视化大屏】全流程讲解用python的pyecharts库实现拖拽可视化大屏的背后原理,简单粗暴!
|
21天前
|
传感器 运维 前端开发
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测
本文解析异常(anomaly)与新颖性(novelty)检测的本质差异,结合distfit库演示基于概率密度拟合的单变量无监督异常检测方法,涵盖全局、上下文与集体离群值识别,助力构建高可解释性模型。
214 10
Python离群值检测实战:使用distfit库实现基于分布拟合的异常检测
|
2月前
|
运维 Linux 开发者
Linux系统中使用Python的ping3库进行网络连通性测试
以上步骤展示了如何利用 Python 的 `ping3` 库来检测网络连通性,并且提供了基本错误处理方法以确保程序能够优雅地处理各种意外情形。通过简洁明快、易读易懂、实操性强等特点使得该方法非常适合开发者或系统管理员快速集成至自动化工具链之内进行日常运维任务之需求满足。
155 18
|
2月前
|
机器学习/深度学习 API 异构计算
JAX快速上手:从NumPy到GPU加速的Python高性能计算库入门教程
JAX是Google开发的高性能数值计算库,旨在解决NumPy在现代计算需求下的局限性。它不仅兼容NumPy的API,还引入了自动微分、GPU/TPU加速和即时编译(JIT)等关键功能,显著提升了计算效率。JAX适用于机器学习、科学模拟等需要大规模计算和梯度优化的场景,为Python在高性能计算领域开辟了新路径。
229 0
JAX快速上手:从NumPy到GPU加速的Python高性能计算库入门教程
|
2月前
|
数据采集 存储 Web App开发
Python爬虫库性能与选型实战指南:从需求到落地的全链路解析
本文深入解析Python爬虫库的性能与选型策略,涵盖需求分析、技术评估与实战案例,助你构建高效稳定的数据采集系统。
286 0
|
2月前
|
存储 监控 安全
Python剪贴板监控实战:clipboard-monitor库的深度解析与扩展应用
本文介绍了基于Python的剪贴板监控技术,结合clipboard-monitor库实现高效、安全的数据追踪。内容涵盖技术选型、核心功能开发、性能优化及实战应用,适用于安全审计、自动化办公等场景,助力提升数据管理效率与安全性。
129 0

推荐镜像

更多