每日分享
Believe in your infinite potential. Your only limitations are those you set upon yourself.
相信你的无限潜力。你唯一的局限是你自己设定的。
小闫语录：
每个人的潜力无穷无尽，限制其开发的便是你潜在的想法，比如我不行、太难了、我太笨了......不自我设限，是你开发潜力的第一步。相信自己，加油。
jieba
jieba，你可以叫它『结巴』，事实上，官方的文档上就是这样介绍的。它是Python最好用的一款中文分词组件之一。
划重点：中文，只对中文有效。
它可以用来做什么呢？简单的说就是分词，貌似解释清楚了，实际上还差点火候。给大家举一个例子：百度、淘宝等的搜索，你输入一句话，它会将所有相关的内容都查找，然后列举出来。
比如，我输入『最近的火锅店在哪里？』，搜索出来匹配的字段会进行标红，有『火锅』这个词相关的内容，有『最近』这个关键字的内容，甚至还有『在哪里』这个关键字的内容。其中涉及到的将一句话中的所有关键字切分出来，这就是分词。
中文作为一门有悠久历史的语言，其文化之丰富，底蕴之深厚可想而知。英文的分词，可以通过以空格切分实现，中文就麻烦了。
麻烦在中文所有的词挨在一起，组成一句话。怎么分？比如：我家的大黄喜欢吃屎。『我』可以是一个词，『我家』也可以是一个词，『我家的』更是一个词，人分都麻烦，机器更傻。为了解决这个问题，有大神创建了这个库，我们直接使用即可。
此人之伟大，此工具之牛x，无以言表。好了，接下来讲使用。
1.安装
直接通过pip命令安装即可：
pip install jieba
2.使用
第一步是导入：
import jieba
第二步使用，我们根据官方示例为大家进行讲解。
2.1全模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)print("Full Mode: " + "/ ".join(seg_list)) # 全模式
运行结果：
【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
大家通过示例可以看到，全模式是将句子中所有的可以成词的词语都扫描出来, 速度非常快，但是有一个问题，就是不能解决歧义。
从代码层面，例子中用到了 jieba.cut方法，其中涉及到两个常用的参数，一个是 需要分词的字符串，另一个是 cut_all（这个参数控制的就是是否采用全模式，示例中为True，表示采用）。
2.2精确模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)print("Default Mode: " + "/ ".join(seg_list)) # 精确模式
运行结果：
【精确模式】: 我/ 来到/ 北京/ 清华大学
与全模式进行对比，是否看出，其更加准确了呢？精确模式就是试图将句子最精确地切开，适合文本分析。一般我们对文本操作，都使用此模式，此模式还是默认模式。也就是说：你不指定的情况下，就是精确模式。如下代码：
seg_list = jieba.cut("他来到了网易杭研大厦") # 默认是精确模式print(", ".join(seg_list))
运行结果：
【新词识别】：他, 来到, 了, 网易, 杭研, 大厦 (此处，“杭研”并没有在词典中，但是也被Viterbi算法识别出来了)
可以看到，我们没有设置 cut_all这个参数，任然得到了想要的精确模式结果。其中有一个注意点，便是新词的问题。因为中文复杂，每天都在创造一些新词，官方库不可能一一收录，那么怎么办呢？一种办法是不作处理，因为官方的算法已经很厉害，可以识别一些新词。如果你觉得不满意，可以采用另一种办法，就是给词库中扩充新词。用法就是：
jieba.load_userdict(file_name) # file_name 为文件类对象或自定义词典的路径
- 词典格式和
dict.txt一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。- 词频省略时使用自动计算的能保证分出该词的词频。
例如：
创新办3 i云计算5凱特琳 nz台中
这一块内容，常人涉及不到，此处不过多阐述，如果有兴趣，可参考官方文档：结巴中文分词
2.3搜索引擎模式
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") # 搜索引擎模式print(", ".join(seg_list))
运行结果：
【搜索引擎模式】： 小明, 硕士, 毕业, 于, 中国, 科学, 学院, 科学院, 中国科学院, 计算, 计算所, 后, 在, 日本, 京都, 大学, 日本京都大学, 深造
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
其中涉及到一个方法 jieba.cut_for_search，这个方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细。
2.4方法说明（官方说明）
- 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
jieba.cut以及jieba.cut_for_search返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut以及jieba.lcut_for_search直接返回 list。jieba.Tokenizer(dictionary=DEFAULT_DICT)新建自定义分词器，可用于同时使用不同词典。jieba.dt为默认分词器，所有全局分词相关函数都是该分词器的映射。
