《NLTK基础教程——用NLTK和Python库构建机器学习应用》——第2章 文本的歧义及其清理-阿里云开发者社区

开发者社区> 人工智能> 正文

《NLTK基础教程——用NLTK和Python库构建机器学习应用》——第2章 文本的歧义及其清理

简介:

本节书摘来异步社区《NLTK基础教程——用NLTK和Python库构建机器学习应用》一书中的第2章,作者:Nitin Hardeniya,更多章节内容可以访问云栖社区“异步社区”公众号查看。

第2章 文本的歧义及其清理

NLTK基础教程——用NLTK和Python库构建机器学习应用
在上一章中,我们为Python以及NLTK库的学习开了一个不错的头,带你初步了解了一下如何针对一些文本资料进行一些有意义的EDA。我们用非常粗糙和简单的方式将预处理部分的所有工作都做了一遍。在本章,我们将具体来讨论标识化处理、词干提取、词形还原(lemmatization)以及停用词移除等这些预处理步骤。这些话题将会涉及NLTK中所有用于处理文本歧义的工具。届时,我们将会讨论现代NLP应用中会用到的所有预处理步骤,以及实现其中某些任务的不同方法,并说明我们通常该做什么、不该做什么。总而言之,我们会为你提供关于这些工具的足够信息,以便你可以自行决定在自己的应用程序中使用怎么样的预处理工具。我们希望读者在阅读完本章之后,可以掌握以下内容。

所有与数据歧义相关的情况,并能运用NLTK处理它们。
文本清理的重要性以及我们可以用NLTK实现什么样的常见任务。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章