NLTK使用教程（持续更新ing...）

2022-10-22 306

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： NLTK是自然语言处理中常用的Python包，本文是NLTK包的一个简单的使用教程。

1. tokenize：分词，分句

在我下载的punkt文件夹里没有chinese.pickle文件（我在网上看到一些GitHub issue和google group里面有，我很迷惑，反正我没有），所以我认为应该不能实现中文操作。

语言可以通过函数的language入参调整，但是反正默认是英文，不能用中文的，那别的我也不会……所以我没有对此作尝试。

tokenize文档：NLTK :: nltk.tokenize package

punkt文档：NLTK :: nltk.tokenize.punkt module

punkt源码：NLTK :: nltk.tokenize.punkt

英文分词（需要安装Punkt sentence tokenization模型）：

from nltk.tokenize import word_tokenize
sentence="We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes."
tokenized_result=word_tokenize(sentence)
print(tokenized_result)

输出结果：

['We', 'trained', 'a', 'large', ',', 'deep', 'convolutional', 'neural', 'network', 'to', 'classify', 'the', '1.2', 'million', 'high-resolution', 'images', 'in', 'the', 'ImageNet', 'LSVRC-2010', 'contest', 'into', 'the', '1000', 'different', 'classes', '.']
英文简单分词（仅使用规则，即空格和标点符号实现分词）：
from nltk.tokenize import wordpunct_tokenize
sentence="We trained a large, deep convolutional neural network to classify the 1.2 million high-resolution images in the ImageNet LSVRC-2010 contest into the 1000 different classes."
tokenized_result=wordpunct_tokenize(sentence)
print(tokenized_result)

输出结果：

['We', 'trained', 'a', 'large', ',', 'deep', 'convolutional', 'neural', 'network', 'to', 'classify', 'the', '1', '.', '2', 'million', 'high', '-', 'resolution', 'images', 'in', 'the', 'ImageNet', 'LSVRC', '-', '2010', 'contest', 'into', 'the', '1000', 'different', 'classes', '.']