自然语言处理 NLP（1）

NLP

自然语言：指一种随着社会发展而自然演化的语言，即人们日常交流所使用的语言；

自然语言处理：通过技术手段，使用计算机对自然语言进行各种操作的一个学科；

NLP研究的内容

词意消歧；

指代理解；

自动生成语言；

机器翻译；

人机对话系统；

文本含义识别；

NLP处理

语料读入

网络

本地

分词

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2018-9-28 22:21
# @Author  : Manu
# @Site    : 
# @File    : python_base.py
# @Software: PyCharm
import urllib
from nltk import word_tokenize
from bs4 import BeautifulSoup
# 在线文档下载
url = 'http://www.gutenberg.org/files/2554/2554-0.txt'
res = urllib.request.urlopen(url)
raw = res.read().decode('utf8')
print('length', len(raw))
print('type', type(raw))
print(raw[:100])
# 分词
tokens = word_tokenize(raw)
print(tokens[:50])
print('length:' + str(len(tokens)))
print('type:', type(tokens))
# 创建文本
text = nltk.Text(tokens)
print('type', type(text))
print('length', len(text))
print(text)

基于此单位的文本分析

• 正则表达式
  分割

• 断句
• 分词

• 规范化输出

中文分词及相应算法

• 基于字典、词库匹配；

• 正向最大匹配；
• 逆向最大匹配；
• 双向最大匹配；
• 设立切分表执法；
• 最佳匹配；

• 基于词频度统计；

• N-gram模型；
• 隐马尔科夫模型；
• 基于字标注的中文分词方法；

• 基于知识理解；

分词方法比较

结巴分词

• 安装
  在控制台使用pip install jieba即可安装； 功能

分词；

jieba.cut、jieba.cut_for_search；

添加自定义词典；

jieba.load_userdict(file_name)、add_word(word, freq=None, tag=None)、jieba.del_word(word)、jieba.suggest_freq(segmen, tune=True)；

关键词提取；

jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())；

jieba.analyse.set_idf_path(file_name)；

jieba.analuse.set_stop_words(file_name)；

词性标注；

jieba.tokenize()；

jieba.posseg.cut()；

并行分词；

词汇搜索；