from nltk.corpus import brown
from nltk.tag import UnigramTagger, BigramTagger, TrigramTagger
# 从布朗语料库中获取文本数据，切分成句子
sentences = brown.tagged_sents(categories='news')
# 将4000个句子用作训练，623个句子用作测试
train = sentences[:4000]
test = sentences[4000:]
# 创建回退标注器
unigram = UnigramTagger(train)
bigram = BigramTagger(train, backoff=unigram)
trigram = TrigramTagger(train, backoff=bigram)
# 查看准确率
print(trigram.evaluate(test))NLTK词性标注
2023-01-11
79
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本文实现基于NLTK的布朗语料库词性标注任务。
目录
相关文章
|
3月前
|
机器学习/深度学习
自然语言处理
Java
|
6月前
|
数据采集
自然语言处理
Serverless
使用Gensim库进行情感分析
【4月更文挑战第21天】使用Gensim进行情感分析，首先安装Gensim库（`pip install gensim`），然后导入所需模块，包括Word2Vec和KeyedVectors。对数据进行预处理，如分词和去除停用词。训练Word2Vec模型并保存，或加载预训练模型。最后，定义函数计算句子情感分数，并应用到文档上。代码示例展示了基本流程，实际应用中可按需调整。
83
10
10
|
12月前
|
机器学习/深度学习
自然语言处理
|
自然语言处理
Python
|
机器学习/深度学习
自然语言处理
Python
|
自然语言处理
Java
Python
|
网络安全
|
机器学习/深度学习
自然语言处理
算法
|
自然语言处理
|
自然语言处理
算法
Python
情感分析-SnowNLP
SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。
376
0
0
热门文章
最新文章
1
为什么lisp这么强大的语言用的人这么少
2
数据库中的Schema和Database的区别
3
MAVEN简介之——settings.xml
4
小技巧 - 怎样屏蔽群消息（包括 @全体成员）？
5
深度 ｜ 大数据算法应用的测试发展之路
6
RDS for SQL server 空间问题排查汇总
7
JavaScript基本数据类型分析
8
日本将举办VR食品研讨会，用音效模拟食物入口的质感
9
df查询磁盘容量
10
谷歌搜搜不谋而合 “情境搜索”或成未来趋势
1
如何根据性能检测结果进行 CSS 优化？
26
2
如何检测 CSS 性能瓶颈并进行优化？
28
3
CSS优化技巧
26
4
如何在 JavaScript 中访问和修改 CSS 变量？
30
5
CSS 变量的作用域和 JavaScript 变量的作用域有什么不同？
29
6
如何在 CSS 变量中使用函数？
22
7
CSS 变量的作用域是什么？
15
8
京东面试：亿级黑名单 如何设计？亿级查重 呢？（答案含：布隆过滤器、布谷鸟过滤器）
22
9
android做中大型项目完美的架构模式是什么？是MVVM吗？如果不是，是什么？
17
10
如何使用 JavaScript 动态修改 CSS 变量的值？
11