Python:使用nltk统计词频并绘制统计图

简介: Python:使用nltk统计词频并绘制统计图

测试环境:

mac

python3.6.5

安装

pip install nltk

代码示例

# -*- coding: utf-8 -*-


from nltk import FreqDist
from matplotlib import rcParams

# matplotlib 设置中文字体
rcParams["font.family"] = "STHeiti"
rcParams["font.size"] = 8


words = ["你好", "你好", "我好", "我还有"]

freq = FreqDist(words)
print(freq.most_common(1)) # [('你好', 2)]
print(freq.freq("你好")) # 频率 0.5
print(freq["你好"]) # 次数 2

freq.tabulate() # 频率分布表

freq.plot() # 频率分布图

d21.1.png

            </div>
目录
相关文章
|
达摩院 语音技术
使用ModelScope社区搭建一个录音情感识别小应用
本文介绍通过ModelScope来完成“语音情绪识别”这一应用,该应用使用两个模型: ● 语音转文本(ASR):paraformer模型 ● 文本情绪识别:达摩院StructBERT中文情感分类模型
2032 3
|
6月前
|
人工智能 运维 安全
AI大模型运维开发探索第四篇:智能体分阶段演进路线
本文探讨了智能体工程的演进历程,从最初的思维链(智能体1.0)到实例化智能体(智能体2.0),再到结构化智能体(智能体3.0),最终展望了自演进智能体(智能体4.0)。文章详细分析了各阶段遇到的问题及解决策略,如工具调用可靠性、推理能力提升等,并引入了大模型中间件的概念以优化业务平台与工具间的协调。此外,文中还提到了RunnableHub开源项目,为读者提供了实际落地的参考方案。通过不断迭代,智能体逐渐具备更强的适应性和解决问题的能力,展现了未来AI发展的潜力。
|
6月前
|
机器学习/深度学习 数据处理
大语言模型中的归一化技术:LayerNorm与RMSNorm的深入研究
本文分析了大规模Transformer架构(如LLama)中归一化技术的关键作用,重点探讨了LayerNorm被RMSNorm替代的原因。归一化通过调整数据量纲保持分布形态不变,提升计算稳定性和收敛速度。LayerNorm通过均值和方差归一化确保数值稳定,适用于序列模型;而RMSNorm仅使用均方根归一化,省略均值计算,降低计算成本并缓解梯度消失问题。RMSNorm在深层网络中表现出更高的训练稳定性和效率,为复杂模型性能提升做出重要贡献。
1289 14
大语言模型中的归一化技术:LayerNorm与RMSNorm的深入研究
|
10月前
|
存储 弹性计算 安全
阿里云服务器ECS详解:云服务器是什么,云服务器优势和应用场景及价格参考
云服务器ECS是阿里云众多云产品中,最受用户关注的产品,阿里云服务器提供多样化的计算能力,支持x86、Arm架构,涵盖CPU、GPU等多种服务器类型,满足各种用户需求。本文为大家详细介绍阿里云服务器是什么?云服务器的优势和应用场景,以及最新价格情况,以供大家参考。
|
10月前
|
安全 BI 数据安全/隐私保护
分享三款性价比超高的AD域管理工具
目前很多企业利用Active Directory (AD )来确保网络环境安全并维护更便捷的管理用户帐户。但还是有很多复杂的问题需要工具来辅助解决,在选择什么样的工具这个问题上,企业通常需要遵守严格的预算限制。这就是为什么我们将这个性价比超高的Active Directory管理工具介绍给大家的原因。
827 4
分享三款性价比超高的AD域管理工具
mapshaper命令:geojson转shp中文乱码的解决方案
mapshaper命令:geojson转shp中文乱码的解决方案
673 0
|
数据可视化 SDN Python
复动力系统 | 混沌 | Lozi 映射吸引子的可视化与交互式探索
该文介绍了一篇关于Lozi映射吸引子可视化和交互式探索的文章。Lozi映射是混沌理论中的一个模型,展示非线性动力系统的复杂性。通过Python和matplotlib,作者实现了Lozi映射的可视化,并添加交互功能,允许用户缩放以详细观察混沌吸引子。文中还给出了Lozi映射的数学定义,并提供了Python代码示例,演示如何绘制和动态调整吸引子的显示。
解决VSCode中Debug和运行路径不一致的
在VSCode调试时,如果程序运行路径不正确,可通过配置`launch.json`文件的`CWD`参数来解决。在`launch.json`中添加或修改`configurations`,例如设置`&quot;cwd&quot;: &quot;${fileDirname}&quot;`,确保调试和运行时路径一致。这样可以避免因路径问题影响调试。记得`&quot;name&quot;`、`&quot;type&quot;`、`&quot;request&quot;`等其他关键参数也要正确配置。我是木头左,希望对你有所帮助!
解决VSCode中Debug和运行路径不一致的
|
数据采集 机器学习/深度学习 自然语言处理
ModelScope模型库体验之中文StructBERT系列预训练语言模型
StructBERT在BERT的基础上提出改进优化,通过在句子级别和词级别引入两个新的目标函数,打乱句子/词的顺序并使模型对其进行还原的方式,能让机器更好地掌握人类语法,加深对自然语言的理解,使得模型学习到更强的语言结构信息。
47622 0
ModelScope模型库体验之中文StructBERT系列预训练语言模型
|
机器学习/深度学习 自然语言处理
一文搞懂Transformer的位置编码
一文搞懂Transformer的位置编码
3991 2