[TOC]

NLTK模块使用详解

NLTK（natural language toolkit）是一套基于python的自然语言处理工具集。

一、NLTK的安装+简介

（1）、NLTK安装

• win+r打开并输入cmd回车打开终端

• 在终端中输入以下代码进行安装

pip3 install nltk

（2）、NLTK模块功能

（3）、NLTK中的语料库

在nltk.corpus包中，提供了几种标注好的语料库可以直接加载使用。如下：

（4）、加载语料库

这里以brown语料库进行讲解，其他语料库的使用方式大致相同

• 查看语料库的加载路径。当我们加载时，我们的系统会帮我们把brown语料库下载到data的指定路径

from nltk.corpus import brown
import nltk

print(nltk.data.path)   # 查看语料库存储路径

"""

E:\Anaconda\envs\NLP_py3.11\python.exe D:\PYTHON_PROJECT\NLP\1.py 
['C:\\Users\\34435/nltk_data', 'E:\\Anaconda\\envs\\NLP_py3.11\\nltk_data', 'E:\\Anaconda\\envs\\NLP_py3.11\\share\\nltk_data', 'E:\\Anaconda\\envs\\NLP_py3.11\\lib\\nltk_data', 'C:\\Users\\34435\\AppData\\Roaming\\nltk_data', 'C:\\nltk_data', 'D:\\nltk_data', 'E:\\nltk_data']

进程已结束，退出代码为 0

"""

• 指定数据加载的目录。我门也可以在加载时指定数据加载的目录

  • 方法一：使用nltk.data.path，在下载数据前，我们可以设置NLTK的下载目录

  from nltk.corpus import brown
  import nltk
  
  nltk.data.path.append('D:\\PYTHON_PROJECT\\NLP\\data')
  nltk.download('brown')
  
  """
  
  E:\Anaconda\envs\NLP_py3.11\python.exe D:\PYTHON_PROJECT\NLP\1.py 
  [nltk_data] Downloading package brown to
  [nltk_data] D:\PYTHON_PROJECT\NLP\data\nltk_data...
  [nltk_data]   Unzipping corpora\brown.zip.
  
  进程已结束，退出代码为 0
  
  """
  

  • 方法二：使用NLTK Downloader，如果希望在下载时选择目录，可以使用 NLTK 的下载器手动指定。运行以下命令：

  import nltk
  
  nltk.download()
  
  """
  
  E:\Anaconda\envs\NLP_py3.11\python.exe D:\PYTHON_PROJECT\NLP\1.py 
  showing info https://raw.githubusercontent.com/nltk/nltk_data/gh-pages/index.xml
  
  """
  

​ 这将打开上图所示的图形界面的下载器，您可以在其中选择下载目录。在下载器的菜单中，选择 "File" -> "Change NLTK Data Directory" 来更改数据目录，然后下载所需的资源。

• 方法三：直接在环境变量中进行设置。通过设置环境变量来指定默认的 NLTK 数据目录，具体操作视操作系统而定

  windows系统如下操作：在环境变量中添加NLTK_DATA，并将其值设置为指定的下载路径

​ macos和linux系统：在终端中运行：

  export NLTK_DATA='/your/desired/path/nltk_data'

• 方法四：直接传递参数下载。可以直接在调用 nltk.download() 时传递参数来指定下载路径（需要 Python 3.8 及以上版本）：

  import nltk
  nltk.download('brown', download_dir='D:\\PYTHON_PROJECT\\NLP\\data')
  
  """
  
  E:\Anaconda\envs\NLP_py3.11\python.exe D:\PYTHON_PROJECT\NLP\1.py 
  [nltk_data] Downloading package brown to D:\PYTHON_PROJECT\NLP\data...
  [nltk_data]   Unzipping corpora\brown.zip.
  
  进程已结束，退出代码为 0
  
  """
  

（5）、基础语法

from nltk.corpus import brown
import nltk

print(brown.categories())    # 查看brown语料库的类别
print(len(brown.sents()))    # 查看brown语料库的句子数量
print(len(brown.words()))    # 查看brown语料库的词数量

二、NLTK词频统计（Frequency）

NLTK 中的FreqDist( ) 类主要记录了每个词出现的次数，根据统计数据生成表格或绘图。其结构简单，用一个有序词典进行实现。

代码示例：

from nltk.corpus import brown
import nltk

tokens=[ 'my','dog','has','flea','problems','help','please',     'maybe','not','take','him','to','dog','park','stupid',
'my','dalmation','is','so','cute','I','love','him'  ]
freq = nltk.FreqDist(tokens)
for key,val in freq.items():
    print (str(key) + ':' + str(val))
standard_freq=freq.most_common(5)
freq.plot(20, cumulative=False)

"""

E:\Anaconda\envs\NLP_py3.11\python.exe D:\PYTHON_PROJECT\NLP\1.py 
my:2
dog:2
has:1
flea:1
problems:1
help:1
please:1
maybe:1
not:1
take:1
him:2
to:1
park:1
stupid:1
dalmation:1
is:1
so:1
cute:1
I:1
love:1

进程已结束，退出代码为 0

"""

三、NLTK去除停用词（stopwords）

​ 我们可以使用remove方法去除掉停用的词；示例代码：

from nltk.corpus import brown, stopwords
import nltk

tokens=[ 'my','dog','has','flea','problems','help','please',
        'maybe','not','take','him','to','dog','park','stupid',
        'my','dalmation','is','so','cute','I','love','him'  ]
stwords=stopwords.words('english')
tokens.remove(stwords)
print(tokens)

四、NLTK分词和分句（tokenize）

（1）、nltk分句

​ 使用sent_tokensize()方法可以很简单进行分句。示例代码：

from nltk import sent_tokenize
from nltk.corpus import brown, stopwords
import nltk

mytext = "Hello Adam, how are you? I hope everything is going well. Today is a good day, see you dude."
print(sent_tokenize(mytext))

"""

['Hello Adam, how are you?', 'I hope everything is going well.', 'Today is a good day, see you dude.']

"""

(2)、nltk分词

​ 使用word_tokenize()方法可以实现分词效果。示例代码：

from nltk import sent_tokenize, word_tokenize
from nltk.corpus import brown, stopwords
import nltk

mytext = "Hello Mr. Adam, how are you? I hope everything is going well. Today is a good day, see you dude."
print(word_tokenize(mytext))

"""

['Hello', 'Mr.', 'Adam', ',', 'how', 'are', 'you', '?', 'I', 'hope', 'everything', 'is', 'going', 'well', '.', 'Today', 'is', 'a', 'good', 'day', ',', 'see', 'you', 'dude', '.']

"""

（3）、nltk标记非英语语言文本

​ 使用sent_tokenize()方法标记非英文语言文本。示例代码：

from nltk import sent_tokenize, word_tokenize
from nltk.corpus import brown, stopwords
import nltk

mytext = "Bonjour M. Adam, comment allez-vous? J'espère que tout va bien. Aujourd'hui est un bon jour."
print(sent_tokenize(mytext,"french"))

"""

['Bonjour M. Adam, comment allez-vous?', "J'espère que tout va bien.", "Aujourd'hui est un bon jour."]

"""

五、NLTK词干提取（Stemming）

​ 单词词干提取就是从单词中去除词缀并返回词根。（比方说 working 的词干是 work。）搜索引擎在索引页面的时候使用这种技术，所以很多人通过同一个单词的不同形式进行搜索，返回的都是相同的，有关这个词干的页面。
​ 词干提取的算法有很多，但最常用的算法是 Porter 提取算法。NLTK 有一个 PorterStemmer 类，使用的就是 Porter 提取算法。

（1） PorterStemmer方法

from nltk.stem import PorterStemmer

porter_stemmer = PorterStemmer()

print(porter_stemmer.stem('working'))

（2）LancasterStemmer方法

from nltk.stem import LancasterStemmer

lancaster_stemmer = LancasterStemmer()

print(lancaster_stemmer.stem('working'))

（3）SnowballStemmer方法提取非英语单词词干

SnowballStemmer 类，除了英语外，还可以适用于其他 13 种语言。支持的语言如下：

from nltk.stem import SnowballStemmer

print(SnowballStemmer.languages)

('danish', 'dutch', 'english', 'finnish', 'french', 'german', 'hungarian', 'italian', 'norwegian', 'porter', 'portuguese', 'romanian', 'russian', 'spanish', 'swedish')

使用 SnowballStemmer 类的 stem() 函数来提取非英语单词

from nltk.stem import SnowballStemmer

french_stemmer = SnowballStemmer('french')

print(french_stemmer.stem("French word"))

六. NLTK词形还原（Lemmatization）

（1）词形还原与词干提取类似， 但不同之处在于词干提取经常可能创造出不存在的词汇，词形还原的结果是一个真正的词汇。

from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()

print(lemmatizer.lemmatize('increases'))

（2） 结果可能是同义词或具有相同含义的不同词语。有时，如果你试图还原一个词，比如 playing,还原的结果还是 playing。这是因为默认还原的结果是名词，如果你想得到动词，可以通过以下的方式指定。

from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()

print(lemmatizer.lemmatize('playing', pos="v"))

（3）实际上，这是一个非常好的文本压缩水平。最终压缩到原文本的 50％ 到 60％ 左右。结果可能是动词，名词，形容词或副词：

from nltk.stem import WordNetLemmatizer

lemmatizer = WordNetLemmatizer()

print(lemmatizer.lemmatize('playing', pos="v"))

print(lemmatizer.lemmatize('playing', pos="n"))

print(lemmatizer.lemmatize('playing', pos="a"))

print(lemmatizer.lemmatize('playing', pos="r"))

七、NLTK词性标注（POS Tag）

（1）词性标注是把一个句子中的单词标注为名词，形容词，动词等。

text=nltk.word_tokenize('what does the fox say')

print(nltk.pos_tag(text))

['what', 'does', 'the', 'fox', 'say']

输出是元组列表，元组中的第一个元素是单词，第二个元素是词性标签

[('what', 'WDT'), ('does', 'VBZ'), ('the', 'DT'), ('fox', 'NNS'), ('say', 'VBP')]

（2）简化的词性标记集列表（Part of Speech）

编码含义

九、NLTK中的wordnet

wordnet 是为自然语言处理构建的数据库。它包括部分词语的一个同义词组和一个简短的定义。

（1）通过 wordnet可以得到给定词的定义和例句

from nltk.corpus import wordnet

syn = wordnet.synsets("pain")  #获取“pain”的同义词集

print(syn[0].definition())

a symptom of some physical hurt or disorder

['the patient developed severe pain and distension']

（2）使用 wordnet来获得同义词

from nltk.corpus import wordnet

for syn in wordnet.synsets('Computer'):

    for lemma in syn.lemmas():

        synonyms.append(lemma.name())

['computer', 'computing_machine', 'computing_device', 'data_processor', 'electronic_computer', 'information_processing_system', 'calculator', 'reckoner', 'figurer', 'estimator', 'computer']

（3）使用wordnet来获取反义词

from nltk.corpus import wordnet

for syn in wordnet.synsets("small"):

    for l in syn.lemmas():

        if l.antonyms():   #判断是否是正确的反义词

            antonyms.append(l.antonyms()[0].name())