01分词
对中文句子按照其语义进行切割的这类操作，被称为“分词”。目前的分词技术有两种，一种是从统计学的角度进行分词，另一种是从词库的角度基于TF-IDF算法，来对语句进行分词。
Python中的Jieba库就是利用词库来对语句进行自动分词的，所以志斌就给大家介绍一下如何用Jieba库来实现文本分割。
01 分词原理
Jieba库在安装时，会附带一个词库，这个词库中包含了日常汉语的词语和词性。在分词时，Jieba库会先基于词库对文本进行匹配，生成文本中的汉字最有可能形成的词。
然后将这些词组成一个DAG，用动态规划算法来查找最大的概率路径，尽可能不将一个词拆成单独的汉字。
最后，再从词库中找出基于词频的最大切分组合，把这些组合在文本中找出来，进而形成一个一个的词语。
同时Jieba库还使用了HMM模型，用以提高分词的准确率，该模型可以对词库中没有的词进行分词。
02分词方法
Jieba库里有一个cut函数，它为我们提供了自动分词功能，代码如下：
import jieba # 分词 with open('text.txt','r',encoding='utf-8') as f: read = f.read() word = jieba.cut(read)
打印一下分词后的结果
我们发现，上面的分词结果中，有大量的标点符号，和一些与情感表达无关的词语，为了避免无关词语对情感分析的影响和加快计算词语的情感速度，我们就需要对分词的结果进行优化。
02优化分词
我们主要从以下两个方面来对分词结果进行优化：1.移除标点符号和换行符；2.删除与情感表达无关的词。
接下来，我将给大家介绍两种方法来实现对分词进行优化。
01 使用停用词集
停用词设置是分词中常用的一种手段，可以提高分割的准确度，同时减少硬件成本、时间成本。网上有许多的停用词集，我们可以挑一个进行下载。在文末，志斌会放自己使用的停用词集链接。代码如下：
import jieba # 分词 with open('text.txt','r',encoding='utf-8') as f: read = f.read() with open('停用词表.txt','r',encoding='utf-8') as f: stop_word = f.read() word = jieba.cut(read) words = [] for i in list(word): if i notin stop_word: words.append(i)
打印一下分词后的结果
我们发现标点符号和与情感表达无关的词都被过滤掉了。
02
根据词性提取关键词
大家知道，每个词语都是有着自己的词性，我们可以通过Jieba库提取出来每个词的词性，然后进行筛选，保留你需要的词语，代码如下：
import jieba.posseg as psg cixing = () words = [] for i in psg.cut(read): cixing = (i.word,i.flag) #词语和词性 words.append(cixing) save = ['a'] #挑选词性 for i in words: if i[1] in save: print(i)
给大家分享一个汉语词性表（部分），有更多了解兴趣的读者可以上网搜一下看看。
我们上面是只保留了形容词，如果大家想保留更多词性的词语，就在save列表中进行添加即可。
03结果展示
分词结果优化过之后，我们就得到了自己想要的结果。接下来就是对这些词来进行词频展示和情感分析了。
由柱状图可知，“头发”占据词频最高，有231条，其次是词语“考研”和“图书馆”，两个词语分别有74条和58条。
所以我们这条微博的主要关键词是“头发”、“考研”和“图书馆”。
代码如下：
from pyecharts.charts import Bar from pyecharts import options as opts columns = [] data = [] for k,v in dict(Counter(words).most_common(10)).items(): columns.append(k) data.append(v) bar = ( Bar() .add_xaxis(columns) .add_yaxis("词频", data) .set_global_opts(title_opts=opts.TitleOpts(title="词频top10")) ) bar.render("词频.html")
02 情感分析
在之前跟大家介绍过两种文本情感分析方法，有兴趣的读者可以看看这篇文章推荐一个强大的自然语言处理库—snownlp。
在本文，我使用的是Snownlp库来对文本进行情感分析。
从图中，我们可以看到，大家的评论积极态度的有32%，中等态度的占60%，消极态度只占8%，看来大家的心态还是很平和的。
代码如下：
from snownlp import SnowNLP positibe = negtive = middle = 0 for i in words: pingfen = SnowNLP(i) if pingfen.sentiments>0.7: positibe+=1 elif pingfen.sentiments<0.3: negtive+=1 else: middle+=1
04总结
1. 本文详细介绍了如何使用Jieba库对文本进行分词，并使用Snownlp库配合对分词结果进行语义情感分析。
2. 通过对用户评论的分析，我们可以知道用户的喜好程度，从而有策略的改进。
3. 本文仅供学习参考，不做它用。
4. 后台回复 文本分析 ，即可获得本文全部数据。
