from nltk.corpus import brown
from nltk.tag import UnigramTagger, BigramTagger, TrigramTagger
# 从布朗语料库中获取文本数据，切分成句子
sentences = brown.tagged_sents(categories='news')
# 将4000个句子用作训练，623个句子用作测试
train = sentences[:4000]
test = sentences[4000:]
# 创建回退标注器
unigram = UnigramTagger(train)
bigram = BigramTagger(train, backoff=unigram)
trigram = TrigramTagger(train, backoff=bigram)
# 查看准确率
print(trigram.evaluate(test))NLTK词性标注
2023-01-11
81
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
本文实现基于NLTK的布朗语料库词性标注任务。
目录
相关文章
|
3月前
|
机器学习/深度学习
自然语言处理
Java
|
6月前
|
机器学习/深度学习
自然语言处理
算法
|
机器学习/深度学习
自然语言处理
|
自然语言处理
Python
|
机器学习/深度学习
自然语言处理
Python
|
自然语言处理
算法
Python
情感分析-SnowNLP
SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。
376
0
0
|
机器学习/深度学习
人工智能
自然语言处理
|
机器学习/深度学习
自然语言处理
|
机器学习/深度学习
自然语言处理
算法
|
机器学习/深度学习
自然语言处理