基于HMM（隐马尔可夫模型）的分词方法
基本部分
状态值序列
B：Begin；
M：Middle；
E：End；
S：Single；
观察值序列
待切分的词；
初始化概率
BMES这四种状态在第一个字的概率分布情况；
状态转移矩阵
HMM中，假设当前状态只与上一状态相关，则此关系可用转移矩阵表示；
条件概率矩阵
HMM中，观察值只取决与当前状态值（假设条件），条件概率矩阵主要建模在BMES下各个词的不同概率，和初始化概率、状态转移矩阵一样，需要在语料中计算得到对应的数据；
概率分词模型：CRF（条件随机场）
HMM描述的是已知量和未知量的一个联合概率分布，属于generative model，而CRF则是建模条件概率，属于discriminative model；且CRF特征更加丰富，可通过自定义特征函数来增加特征信息，CRF能建模的信息应该包括HMM的状态转移、数据初始化的特征；主要包括两部分特征：
简单特征
只涉及当前状态特征；
转移特征
涉及两种状态间的特征；、
基于深度学习的分词
基本步骤：
首先，训练字向量，使用word2vec对语料的字训练50维的向量；
然后，接入一个bi-LSTM，用于建模整个句子本身的语义信息；
最后，接入一个CFR完成序列标注；
词向量
one-hot编码
每个词只在对应的index置1，其他位置均为0，难点在于做相似度计算；
LSA（矩阵分解方法）
LSA使用词-文档矩阵，矩阵常为系数矩阵，行代表词语，列代表文档；词-文档矩阵表示中的值表示词在文章中出现的次数；难点在于当语料库过大时，计算很耗费资源，且对未登录词或新文档不友好；
Word2Vec
结构
包括CBOW和Skip-gram模型；CBOW的输入为上下文的表示，然后对目标词进行预测；Skip-gram每次从目标词w的上下文c中选择一个词，将其词向量作为模型输入；
Skip-gram主要结构：
输入one-hot编码；
隐藏层大小为次维度大小；
对常见词或词组，常将其作为当个word处理；
对高频词进行抽样减少训练样本数目；
对优化目标采用negative sampling，每个样本训练时只更新部分网络权重；
词性标注
基于最大熵的词性标注；
基于统计最大概率输出词性；
基于HMM词性标注；
基于CRF的词性标注；
