AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

【NLP】干货！Python NLTK结合stanford NLP工具包进行文本处理

2016-11-06 1740
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
NLP 自学习平台，3个模型定制额度 1个月
NLP自然语言处理_高级版，每接口累计50万次
NLP自然语言处理_基础版，每接口每天50万次
简介： 干货！详述Python NLTK下如何使用stanford NLP工具包 作者：白宁超 2016年11月6日19:28:43 摘要：NLTK是由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包，其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项 NLP 领域的功能。

干货！详述Python NLTK下如何使用stanford NLP工具包

作者：白宁超

2016年11月6日19:28:43

摘要：NLTK是由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包，其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项 NLP 领域的功能。而Stanford NLP 是由斯坦福大学的 NLP 小组开源的 Java 实现的 NLP 工具包，同样对 NLP 领域的各个问题提供了解决办法。斯坦福大学的 NLP 小组是世界知名的研究小组，能将 NLTK 和 Stanford NLP 这两个工具包结合起来使用，那对于自然语言开发者是再好不过的！在 2004 年 Steve Bird 在 NLTK 中加上了对 Stanford NLP 工具包的支持，通过调用外部的 jar 文件来使用 Stanford NLP 工具包的功能。本分析显得非常方便好用。本文主要介绍NLTK（Natural language Toolkit）下配置安装Stanford NLP ，以及对Standford NLP核心模块进行演示，使读者简单易懂的学习本章知识，后续会继续采用大秦帝国语料对分词、词性标注、命名实体识别、句法分析、句法依存分析进行详细演示。关于python基础知识，可以参看【Python五篇慢慢弹】系列文章（本文原创编著，转载注明出处:干货！详述Python NLTK下如何使用stanford NLP工具包）

目录

【Python NLP】干货！详述Python NLTK下如何使用stanford NLP工具包(1)

【Python NLP】Python 自然语言处理工具小结(2)

【Python NLP】Python NLTK 走进大秦帝国(3)

【Python NLP】Python NLTK获取文本语料和词汇资源(4)

【Python NLP】Python NLTK处理原始文本(5)

1 NLTK和StandfordNLP简介

NLTK：由宾夕法尼亚大学计算机和信息科学使用python语言实现的一种自然语言工具包，其收集的大量公开数据集、模型上提供了全面、易用的接口，涵盖了分词、词性标注(Part-Of-Speech tag, POS-tag)、命名实体识别(Named Entity Recognition, NER)、句法分析(Syntactic Parse)等各项 NLP 领域的功能。

Stanford NLP：由斯坦福大学的 NLP 小组开源的 Java 实现的 NLP 工具包，同样对 NLP 领域的各个问题提供了解决办法。斯坦福大学的 NLP 小组是世界知名的研究小组，能将 NLTK 和 Stanford NLP 这两个工具包结合起来使用，那对于自然语言开发者是再好不过的！在 2004 年 Steve Bird 在 NLTK 中加上了对 Stanford NLP 工具包的支持，通过调用外部的 jar 文件来使用 Stanford NLP 工具包的功能。本分析显得非常方便好用。

本文在主要介绍NLTK 中提供 Stanford NLP 中的以下几个功能:

  1. 中英文分词: StanfordTokenizer
  2. 中英文词性标注: StanfordPOSTagger
  3. 中英文命名实体识别: StanfordNERTagger
  4. 中英文句法分析: StanfordParser
  5. 中英文依存句法分析: StanfordDependencyParser, StanfordNeuralDependencyParser

2 安装配置过程中注意事项

本文以Python 3.5.2和java version "1.8.0_111"版本进行配置，具体安装需要注意以下几点：

  • Stanford NLP 工具包需要 Java 8 及之后的版本，如果出错请检查 Java 版本
  • 本文的配置都是以 Stanford NLP 3.6.0 为例，如果使用的是其他版本，请注意替换相应的文件名
  • 本文的配置过程以 NLTK 3.2 为例，如果使用 NLTK 3.1，需要注意该旧版本中 StanfordSegmenter 未实现，其余大致相同
  • 下面的配置过程是具体细节可以参照：http://nlp.stanford.edu/software/

3 StandfordNLP必要工具包下载

必要包下载：只需要下载以下3个文件就够了，stanfordNLTK文件里面就是StanfordNLP工具包在NLTK中所依赖的jar包和相关文件

  1. stanfordNLTK ：自己将所有需要的包和相关文件已经打包在一起了，下面有具体讲解
  2. Jar1.8 ：如果你本机是Java 8以上版本，可以不用下载了
  3. NLTK ：这个工具包提供Standford NLP接口

以上文件下载后，Jar如果是1.8的版本可以不用下载，另外两个压缩包下载到本地，解压后拷贝文件夹到你的python安装主路径下，然后cmd进入NLTK下通过python setup.py install即可。后面操作讲路径简单修改即可。（如果不能正常分词等操作，查看python是否是3.2以上版本，java是否是8以后版本，jar环境变量是否配置正确）

StanfordNLTK目录结构如下：（从各个压缩文件已经提取好了，如果读者感兴趣，下面有各个功能的源码文件）

  • 分词依赖：stanford-segmenter.jar、 slf4j-api.jar、data文件夹相关子文件
  • 命名实体识别依赖：classifiers、stanford-ner.jar
  • 词性标注依赖：models、stanford-postagger.jar
  • 句法分析依赖：stanford-parser.jar、stanford-parser-3.6.0-models.jar、classifiers
  • 依存语法分析依赖：stanford-parser.jar、stanford-parser-3.6.0-models.jar、classifiers 

压缩包下载和源码分析：

  1. 分词压缩包：StanfordSegmenter和StanfordTokenizer:下载stanford-segmenter-2015-12-09.zip (version 3.6.0) 解压获取目录中的 stanford-segmenter-3.6.0.jar 拷贝为 stanford-segmenter.jar和 slf4j-api.jar
  2. 词性标注压缩包：下载stanford-postagger-full-2015-12-09.zip (version 3.6.0) 解压获取stanford-postagger.jar
  3. 命名实体识别压缩包：下载stanford-ner-2015-12-09.zip (version 3.6.0) ，将解压获取stanford-ner.jar和classifiers文件
  4. 句法分析、句法依存分析：下载stanford-parser-full-2015-12-09.zip (version 3.6.0) 解压获取stanford-parser.jar 和 stanford-parser-3.6.0-models.jar

4 StandfordNLP相关核心操作

4.1 分词

StanfordSegmenter 中文分词：下载52nlp改过的NLTK包nltk-develop ，解压后将其拷贝到你的python目录下，进去E:\Python\nltk-develop采用python 编辑器打开setup.py文件，F5运行，输入以下代码：

>>> from nltk.tokenize.stanford_segmenter import StanfordSegmenter
>>> segmenter = StanfordSegmenter(
    path_to_jar=r"E:\tools\stanfordNLTK\jar\stanford-segmenter.jar",
    path_to_slf4j=r"E:\tools\stanfordNLTK\jar\slf4j-api.jar",
    path_to_sihan_corpora_dict=r"E:\tools\stanfordNLTK\jar\data",
    path_to_model=r"E:\tools\stanfordNLTK\jar\data\pku.gz",
    path_to_dict=r"E:\tools\stanfordNLTK\jar\data\dict-chris6.ser.gz"
)
>>> str="我在博客园开了一个博客，我的博客名叫伏草惟存，写了一些自然语言处理的文章。"
>>> result = segmenter.segment(str)
>>> result

执行结果：

程序解读：StanfordSegmenter 的初始化参数说明:

  • path_to_jar: 用来定位jar包，本程序分词依赖stanford-segmenter.jar（注: 其他所有 Stanford NLP 接口都有 path_to_jar 这个参数。）
  • path_to_slf4j: 用来定位slf4j-api.jar作用于分词
  • path_to_sihan_corpora_dict: 设定为 stanford-segmenter-2015-12-09.zip 解压后目录中的 data 目录， data 目录下有两个可用模型 pkg.gz 和 ctb.gz 需要注意的是，使用 StanfordSegmenter 进行中文分词后，其返回结果并不是 list ，而是一个字符串，各个汉语词汇在其中被空格分隔开。

StanfordTokenizer 英文分词 ：相关参考资料

Python 3.5.2 (v3.5.2:4def2a2901a5, Jun 25 2016, 22:01:18) [MSC v.1900 32 bit (Intel)] on win32
Type "copyright", "credits" or "license()" for more information.
>>> from nltk.tokenize import StanfordTokenizer
>>> tokenizer = StanfordTokenizer(path_to_jar=r"E:\tools\stanfordNLTK\jar\stanford-parser.jar")
>>> sent = "Good muffins cost $3.88\nin New York.  Please buy me\ntwo of them.\nThanks."
>>> print(tokenizer.tokenize(sent))
['Good', 'muffins', 'cost', '$', '3.88', 'in', 'New', 'York', '.', 'Please', 'buy', 'me', 'two', 'of', 'them', '.', 'Thanks', '.']
>>>

执行结果：

4.2 命名实体识别

StanfordNERTagger 英文命名实体识别

>>> from nltk.tag import StanfordNERTagger
>>> eng_tagger = StanfordNERTagger(model_filename=r'E:\tools\stanfordNLTK\jar\classifiers\english.all.3class.distsim.crf.ser.gz',path_to_jar=r'E:\tools\stanfordNLTK\jar\stanford-ner.jar')
>>> print(eng_tagger.tag('Rami Eid is studying at Stony Brook University in NY'.split()))
[('Rami', 'PERSON'), ('Eid', 'PERSON'), ('is', 'O'), ('studying', 'O'), ('at', 'O'), ('Stony', 'ORGANIZATION'), ('Brook', 'ORGANIZATION'), ('University', 'ORGANIZATION'), ('in', 'O'), ('NY', 'O')]

运行结果：

StanfordNERTagger 中文命名实体识别

>>> result
'四川省 成都 信息 工程 大学 我 在 博客 园 开 了 一个 博客 ， 我 的 博客 名叫 伏 草 惟 存 ， 写 了 一些 自然语言 处理 的 文章 。\r\n'
>>> from nltk.tag import StanfordNERTagger
>>> chi_tagger = StanfordNERTagger(model_filename=r'E:\tools\stanfordNLTK\jar\classifiers\chinese.misc.distsim.crf.ser.gz',path_to_jar=r'E:\tools\stanfordNLTK\jar\stanford-ner.jar')
>>> for word, tag in  chi_tagger.tag(result.split()):
	print(word,tag)

运行结果：

 

4.3 词性标注

StanfordPOSTagger 英文词性标注 

>>> from nltk.tag import StanfordPOSTagger
>>> eng_tagger = StanfordPOSTagger(model_filename=r'E:\tools\stanfordNLTK\jar\models\english-bidirectional-distsim.tagger',path_to_jar=r'E:\tools\stanfordNLTK\jar\stanford-postagger.jar')
>>> print(eng_tagger.tag('What is the airspeed of an unladen swallow ?'.split()))

运行结果：

StanfordPOSTagger 中文词性标注

>>> from nltk.tag import StanfordPOSTagger
>>> chi_tagger = StanfordPOSTagger(model_filename=r'E:\tools\stanfordNLTK\jar\models\chinese-distsim.tagger',path_to_jar=r'E:\tools\stanfordNLTK\jar\stanford-postagger.jar')
>>> result
'四川省 成都 信息 工程 大学 我 在 博客 园 开 了 一个 博客 ， 我 的 博客 名叫 伏 草 惟 存 ， 写 了 一些 自然语言 处理 的 文章 。\r\n'
>>> print(chi_tagger.tag(result.split()))

 运行结果：

4.4 句法分析：参考文献资料

StanfordParser英文语法分析

>>> from nltk.parse.stanford import StanfordParser
>>> eng_parser = StanfordParser(r"E:\tools\stanfordNLTK\jar\stanford-parser.jar",r"E:\tools\stanfordNLTK\jar\stanford-parser-3.6.0-models.jar",r"E:\tools\stanfordNLTK\jar\classifiers\englishPCFG.ser.gz")
>>> print(list(eng_parser.parse("the quick brown fox jumps over the lazy dog".split())))

运行结果：

StanfordParser 中文句法分析 

>>> from nltk.parse.stanford import StanfordParser
>>> chi_parser = StanfordParser(r"E:\tools\stanfordNLTK\jar\stanford-parser.jar",r"E:\tools\stanfordNLTK\jar\stanford-parser-3.6.0-models.jar",r"E:\tools\stanfordNLTK\jar\classifiers\chinesePCFG.ser.gz")
>>> sent = u'北海 已 成为 中国 对外开放 中 升起 的 一 颗 明星'
>>> print(list(chi_parser.parse(sent.split())))

运行结果：

4.5 依存句法分析

StanfordDependencyParser 英文依存句法分析 

>>> from nltk.parse.stanford import StanfordDependencyParser
>>> eng_parser = StanfordDependencyParser(r"E:\tools\stanfordNLTK\jar\stanford-parser.jar",r"E:\tools\stanfordNLTK\jar\stanford-parser-3.6.0-models.jar",r"E:\tools\stanfordNLTK\jar\classifiers\englishPCFG.ser.gz")
>>> res = list(eng_parser.parse("the quick brown fox jumps over the lazy dog".split()))
>>> for row in res[0].triples():
    print(row)

运行结果：

StanfordDependencyParser 中文依存句法分析

>>> from nltk.parse.stanford import StanfordDependencyParser
>>> chi_parser = StanfordDependencyParser(r"E:\tools\stanfordNLTK\jar\stanford-parser.jar",r"E:\tools\stanfordNLTK\jar\stanford-parser-3.6.0-models.jar",r"E:\tools\stanfordNLTK\jar\classifiers\chinesePCFG.ser.gz")
>>> res = list(chi_parser.parse(u'四川 已 成为 中国 西部 对外开放 中 升起 的 一 颗 明星'.split()))
>>> for row in res[0].triples():
    print(row)

运行结果：

 

5 参考文献和知识扩展

  1. NLTK官方网站
  2. NLTK的API
  3. NLTK中使用斯坦福中文分词器
  4. GitHub上NLTK源码

 

 

修正：本文之前相关jra不完整，完整代码请进QQ下载

机器学习和自然语言QQ群：436303759

自然语言处理和机器学习QQ交流群：436303759

【微信公众号：datathinks】
自然语言处理和机器学习微信公众号:datathinks

源码请进QQ群文件下载：

图5-1 完整项目文件

运行效果

http://www.cnblogs.com/baiboy
文章标签：
自然语言处理
自然语言处理
Python
Java
关键词：
Python包
Python工具
自然语言处理nltk
Python NLP
Python文本
伏草惟存
目录
相关文章
dufadayang
|
1月前
|
开发者 Python
如何在Python中管理模块和包的依赖关系？
在实际开发中，通常会结合多种方法来管理模块和包的依赖关系，以确保项目的顺利进行和可维护性。同时，要及时更新和解决依赖冲突等问题，以保证代码的稳定性和可靠性
dufadayang
48 4
我是快乐的嘟嘟
|
1月前
|
测试技术 Python
手动解决Python模块和包依赖冲突的具体步骤是什么？
需要注意的是，手动解决依赖冲突可能需要一定的时间和经验，并且需要谨慎操作，避免引入新的问题。在实际操作中，还可以结合使用其他方法，如虚拟环境等，来更好地管理和解决依赖冲突😉。
我是快乐的嘟嘟
115 58
我是快乐的嘟嘟
|
1月前
|
持续交付 Python
如何在Python中自动解决模块和包的依赖冲突？
完全自动解决所有依赖冲突可能并不总是可行，特别是在复杂的项目中。有时候仍然需要人工干预和判断。自动解决的方法主要是提供辅助和便捷，但不能完全替代人工的分析和决策😉。
我是快乐的嘟嘟
120 49
AIweker
|
20天前
|
数据可视化 编译器 Python
Manim：数学可视化的强大工具 | python小知识
Manim（Manim Community Edition）是由3Blue1Brown的Grant Sanderson开发的数学动画引擎，专为数学和科学可视化设计。它结合了Python的灵活性与LaTeX的精确性，支持多领域的内容展示，能生成清晰、精确的数学动画，广泛应用于教育视频制作。安装简单，入门容易，适合教育工作者和编程爱好者使用。
AIweker
83 7
overmind1980
|
23天前
|
Python 容器
[oeasy]python048_用变量赋值_连等赋值_解包赋值_unpack_assignment _
本文介绍了Python中变量赋值的不同方式，包括使用字面量和另一个变量进行赋值。通过`id()`函数展示了变量在内存中的唯一地址，并探讨了变量、模块、函数及类类型的地址特性。文章还讲解了连等赋值和解包赋值的概念，以及如何查看已声明的变量。最后总结了所有对象（如变量、模块、函数、类）都有其类型且在内存中有唯一的引用地址，构成了Python系统的基石。
overmind1980
28 5
dufadayang
|
1月前
|
Python
Python的模块和包
总之，模块和包是 Python 编程中非常重要的概念，掌握它们可以帮助我们更好地组织和管理代码，提高开发效率和代码质量
dufadayang
41 5
我是快乐的嘟嘟
|
1月前
|
数据可视化 Python
如何在Python中解决模块和包的依赖冲突？
解决模块和包的依赖冲突需要综合运用多种方法，并且需要团队成员的共同努力和协作。通过合理的管理和解决冲突，可以提高项目的稳定性和可扩展性
我是快乐的嘟嘟
66 3
XIAZHI
|
1月前
|
JavaScript 前端开发 开发者
探索 DrissionPage: 强大的Python网页自动化工具
DrissionPage 是一个基于 Python 的网页自动化工具，结合了浏览器自动化的便利性和 requests 库的高效率。它提供三种页面对象：ChromiumPage、WebPage 和 SessionPage，分别适用于不同的使用场景，帮助开发者高效完成网页自动化任务。
XIAZHI
151 4
aliyun8599273441-30642
|
1月前
|
开发者 Python
探索Python中的列表推导式：简洁而强大的工具
【10月更文挑战第41天】 在编程的世界中，效率与简洁是永恒的追求。本文将深入探讨Python编程语言中一个独特且强大的特性——列表推导式（List Comprehension）。我们将通过实际代码示例，展示如何利用这一工具简化代码、提升性能，并解决常见编程问题。无论你是初学者还是资深开发者，掌握列表推导式都将使你的Python之旅更加顺畅。
aliyun8599273441-30642
41 3
东方睿赢
|
1月前
|
机器学习/深度学习 自然语言处理 API
如何使用阿里云的语音合成服务（TTS）将文本转换为语音？本文详细介绍了从注册账号、获取密钥到编写Python代码调用TTS服务的全过程
如何使用阿里云的语音合成服务（TTS）将文本转换为语音？本文详细介绍了从注册账号、获取密钥到编写Python代码调用TTS服务的全过程。通过简单的代码示例，展示如何将文本转换为自然流畅的语音，适用于有声阅读、智能客服等场景。
东方睿赢
293 3

热门文章

最新文章

  • 1
    探索深度学习与自然语言处理的前沿技术：Transformer模型的深度解析
  • 2
    Director：构建视频智能体的 AI 框架，用自然语言执行搜索、编辑、合成和生成等复杂视频任务
  • 3
    AI技术在自然语言处理中的应用
  • 4
    自然语言处理（Natural Language Processing，简称NLP）
  • 5
    Promptriever：信息检索模型，支持自然语言提示响应用户搜索需求
  • 6
    AI在自然语言处理中的突破：从理论到应用
  • 7
    探索AI在自然语言处理中的创新应用
  • 8
    AutoVFX：自然语言驱动的视频特效编辑框架
  • 9
    探索深度学习中的Transformer模型及其在自然语言处理中的应用
  • 10
    BrushEdit：腾讯和北京大学联合推出的图像编辑框架，通过自然语言指令实现对图像的编辑和修复
  • 1
    Python 密码学实用指南（全）（2）
    41
  • 2
    【python】习题 第10周
    62
  • 3
    【python】习题第8周
    60
  • 4
    【python】习题第7周（上）
    92
  • 5
    【python】习题 6-10周（下）
    60
  • 6
    【python】习题 6-10周（中）
    66
  • 7
    Python 入门指南（七）（4）
    50
  • 8
    【python】习题 1-5周（中）
    94
  • 9
    【python】习题 1-5周（上）
    52
  • 10
    Python 入门指南（七）（2）
    61

    • 相关课程

    更多
  • Python Web开发基础
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）
  • Python新手入门

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • deepin-cd
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)