在我们做一个项目或业务之前，需要了解为什么要做它，比如为什么要做文本分类？项目开发需要，还是文本类数据值得挖掘。
1、介绍
目前讨论文本分类几乎都是基于深度学习的方法，本质上还是一个建模的过程，包括数据准备-预处理-模型选择-模型调优-模型上线这样的一套流程。在本地进行文本分类开发我们需要关注的两个主要的问题：数据处理和模型选择，这两者是相互依赖的。
图1 文本分类的步骤
文本分类可以根据文本的大小可以分为如下几种：
- 文本级别: 对整篇文章进行分类
- 段落级别: 对单独的段落分类
- 句子级别: 对句子进行分类
- 子句级别: 对句子的一部分进行识别（命名体识别不就是这个吗）
介绍图所示也分为三个部分，特征提取、分类模型、评估指标。
2、特征提取（Representation）
介绍文本数据清洗的几种方法和两种特征提取方法，Embedding和Weighted Words。
2.1 数据清洗
在自然语言处理（NLP）中，大多数文本和文档都包含许多冗余的单词，例如StopWords，Miss-Mermilings，Slangs等。在许多算法中，如统计和概率学习方法，噪声和不必要的特征可以对整体性能产生负面影响。
Tokenization
中文有的翻译称之为分词，将句子切成小块称之为token。
python中
from nltk.tokenize import word_tokenizetext = "After sleeping for four hours, he decided to sleep for another four"tokens = word_tokenize(text)print(tokens)# result['After', 'sleeping', 'for', 'four', 'hours', ',', 'he', 'decided', 'to', 'sleep', 'for', 'another', 'four']# 中文文本text = "我在华为工作"print(" ".join([s for s in jieba.cut(text)]))# results我 在 华为 工作
Stop words
中文翻译：停用词。通过社交媒体（如Twitter，Facebook等）的文本和文档分类通常受到文本语料中的嘈杂性质（缩写，不规则形式）的影响。简而言之，过滤掉一些词。
from nltk.corpus import stopwords from nltk.tokenize import word_tokenize example_sent = "This is a sample sentence, showing off the stop words filtration." stop_words = set(stopwords.words('english')) word_tokens = word_tokenize(example_sent) filtered_sentence = [w for w in word_tokens if not w in stop_words] print(word_tokens) print(filtered_sentence) # results ['This', 'is', 'a', 'sample', 'sentence', ',', 'showing', 'off', 'the', 'stop', 'words', 'filtration', '.'] ['This', 'sample', 'sentence', ',', 'showing', 'stop', 'words','filtration', '.']
使用stopwords也是很简单，分词做一个字典或者集合进行筛选即可，这里不再赘述。
Capitalization
中文名字：资本化？句子可以包含大写和小写字母的混合。多个句子构成文本文档。为了减少问题空间，最常见的方法是将一切降低到小写。这将在同一空间的文档中带来所有单词，但它通常会改变某些词的含义，例如“美国”到“我们”，第一个代表美国和第二个是代名词。要解决此问题，可以应用俚语和缩写转换器。什么叫缩写转换器？盲猜应该就是一个hashmap。
text = "The United States of America (USA) or America, is a federal republic composed of 50 states" print(text) print(text.lower()) # results 'The United States of America (USA) or America, is a federal republic composed of 50 states' 'the united states of america (usa) or america, is a federal republic composed of 50 states'
Slangs and Abbreviations
谚语和缩写。在进行常规的文本分类的时候，希望将谚语翻译，缩写变为全称是的数据分布保持一致。当然，不一定非得对此进行处理，如果针对缩写和谚语的数据集和模型构建那则不需要考虑此问题。
Noise Removal
噪音消除。其实就是使用正则表达式过滤掉一些错误或者无关紧要的字符，使得数据尽可能对齐。
英文常用的手段
def text_cleaner(text): rules = [ {r'>\s+': u'>'}, # remove spaces after a tag opens or closes {r'\s+': u' '}, # replace consecutive spaces {r'\s*<br\s*/?>\s*': u'\n'}, # newline after a <br> {r'</(div)\s*>\s*': u'\n'}, # newline after </p> and </div> and <h1/>... {r'</(p|h\d)\s*>\s*': u'\n\n'}, # newline after </p> and </div> and <h1/>... {r'<head>.*<\s*(/head|body)[^>]*>': u''}, # remove <head> to </head> {r'<a\s+href="([^"]+)"[^>]*>.*</a>': r'\1'}, # show links instead of texts {r'[ \t]*<[^<]*?/?>': u''}, # remove remaining tags {r'^\s+': u''} # remove spaces at the beginning ] for rule in rules: for (k, v) in rule.items(): regex = re.compile(k) text = regex.sub(v, text) text = text.rstrip() return text.lower()
处理中文的时候我们可能需要删除一些无用的英文字符，或者无效的数字。
Spelling Correction
语法错误自动纠正。
英文案例比较简单
from autocorrect import Spellerslr = Speller()print(slr.autocorrect_word('caaaar'))print(slr.autocorrect_word(u'mussage'))print(slr.autocorrect_word(u'survice'))print(slr.autocorrect_word(u'hte'))# results"aaaaaa""message""service""the"
中文的自动纠错
import pycorrectorcorrected_sent, detail = pycorrector.correct('少先队员因该为老人让坐')print(corrected_sent, detail)# results少先队员应该为老人让座 [['因该', '应该', 4, 6], ['坐', '座', 10, 11]]
修正后在分词，目前也有基于深度学习的文本纠正。
2.2 Weighted Words
term-frequency~(TF)
- 基于出现的频率做单词到数字的映射。
- 出现的次数。
出现次数的对数。或者使用布尔值表示？
如果使用一个等长的向量，其中的位置表示为单词的频率信息，这样做容易导致的问题是什么？出现频率高的单词决定了单词的表示。
加权字表示，TF-IDF在文档中术语重量的数学表示：
其中n是文档的数量，df(t)是包含语料库中术语t的文档的数量。
可以通过 如下方式实现。
from sklearn.feature_extraction.text import TfidfVectorizer
2.3 Embedding
- 使用较低维度的向量表示文本中的单词。
- 机器学习中的编码思路。
方法一：one-hot
存在的问题：
1. 效率低下，一个独热编码向量十分稀疏（这意味着大多数索引为零）；
2. 数据中的单词集合越大，编码后的向量长度越长3. 任意两个词正交，无法较好的度量词之间的相关性；
方法二：int
存在的问题：
1. 整数编码是任意的（它不会捕获单词之间的任何关系）；
2. 对于要解释的模型而言，整数编码颇具挑战。例如，线性分类器针对每个特征学习一个权重。由于任何两个单词的相似性与其编码的相似性之间都没有关系，因此这种特征权重组合没有意义；
Embedding 层
- 不同的框架下的Embedding层的作用是什么？需要注意的两点
- 解决one-hot编码无法提取词之间的相关性的问题，方法是通过训练一个权重矩阵(矩阵的大小为(m,n)_m_表示训练数据中的单词集合的大小，_n_通常称之为词向量的大小，即压缩后的维度大小。矩阵中的参数通过目标任务反向传播进行学习。
在前向传播不采用one-hot编码后的矩阵进行输入，采用int编码进行查表操作来代替矩阵相乘来加速。
Word2Vec
Embedding层虽然可以学习到词的低维度表示，但是在数据样本比较小的情况下，仅仅通过目标任务学习巨大的Embedding矩阵往往效果不是理想。
联想到，图片分类中的image数据的预训练权重，在文本分类中也希望通过巨大预料数据提前得到单词的预训练权重，然后在小的数据集上进行迁移学习以提升模型的精度。Word2Vec是在此想法下的产物，与文本分类预训练有几点不同。
以Skip-gram为例简单介绍：
The wide road shimmered in the hot sun.
句子中的每个单词的上下文词被窗口打下指定，样例如下。对于窗口长度n，考虑上下文，意味着每个单词对应的窗口长度为2*n+1。
词编码在Embedding中写过，首先使用one-hot编码然后喂入网络，在word2vec中也使一样的。不过这里的目标是给定一个词的one-hot编码，学习的是skip-gram pair，因此网络定义如下：
如上图所示：隐层没有使用任何激活函数，但是输出层使用了sotfmax。基于成对的单词来对神经网络进行训练，训练样本是 ( input word, output word ) 这样的单词对，10000表示词本中单词的个数，input word和output word都是one-hot编码的向量。最终模型的输出是一个概率分布。
FastText
FastText和Word2Vec之间有什么联系和区别。
- 相同点，学习得到低维度词向量表示。
- 不同点，FastText使用了subwords这种更细粒度的特征。
FastText的结构如下，可以直接应用于文本分类任务，隐藏层使用求和使得模型十分高效。
GloVe
全局向量表示，使用词频信息+上下文信息的一种词向量表示。官方网站：https://nlp.stanford.edu/projects/glove/
三步走：
- 根据语料库（corpus）构建一个共现矩阵（Co-ocurrence Matrix）X，矩阵中的每一个元素Xij代表单词i和上下文单词j在特定大小的上下文窗口（context window）内共同出现的次数。一般而言，这个次数的最小单位是1，但是GloVe不这么认为：它根据两个单词在上下文窗口的距离d，提出了一个衰减函数（decreasing weighting）：decay=1/d用于计算权重，也就是说距离越远的两个单词所占总计数（total count）的权重越小。
- 构建词向量（Word Vector）和共现矩阵（Co-ocurrence Matrix）之间的近似关系，论文的作者提出以下的公式可以近似地表达两者之间的关系：
其中，wiT和wj**是我们最终要求解的词向量；**bi和bj分别是两个词向量的偏置。
- 损失函数
这个loss function的基本形式就是最简单的mean square loss，只不过在此基础上加了一个权重函数f(Xij)，那么这个函数起了什么作用，为什么要添加这个函数呢？我们知道在一个语料库中，肯定存在很多单词他们在一起出现的次数是很多的（frequent co-occurrences），那么我们希望：
- 1.这些单词的权重要大于那些很少在一起出现的单词（rare co-occurrences），所以这个函数要是非递减函数（non-decreasing）；
- 2.但我们也不希望这个权重过大（overweighted），当到达一定程度之后应该不再增加；
- 3.如果两个单词没有在一起出现，也就是Xij=0，那么他们应该不参与到loss function的计算当中去，也就是f(x)要满足f(0)=0
满足以上两个条件的函数有很多，作者采用了如下形式的分段函数，（xmax=100,α=0.75）：
Contextualized Word Representations
预训练是否存在其他的表征方式，word2vec这种表示方法的缺点是什么？
- 缺乏语义信息
中文的预训练模型：https://github.com/HIT-SCIR/ELMoForManyLangs
上下文词表示，ELMO是一个深刻的语境化词表示，可以处理（1）单词的复杂特征（例如，语法和语义）（2）这些用途在语言上下文（即，模型多义）上的不同方式变化。这些单词vectors是学习的深度双向语言模型（BILM）的内部状态的函数，该函数在大型文本语料库上预先训练。
ELMo representations are:
- Contextual: 每个单词的表示取决于它使用的整个上下文。
- Deep: 每个单词的表示组合了深度预先训练的神经网络的所有层。
- Character based: Elmo表示是基于纯字符级别的，允许网络使用形态线索学习不属于词表中的单词表示。
2.3 不同特征提取的优缺点
一、Weighted Words：
优点：
- 容易计算
- 使用此方法容易计算两个文档的相似度
- 提取文档具有代表性的基础指标
- 未知单词也可以工作
缺点：
- 不能捕捉位置关系
- 不能捕捉语义信息
- 高频单词容易影响结果（例如 is，as）
