Word Embedding

如何表示词义

流程

文本文件->分词后的序列->词表示的向量（词嵌入）->解决具体任务的算法；

用离散符号表示词

传统NLP中，我们将词表示为一个个的离散符号，如：sun、hotel、fruit……，我们可以用o n e − h o t one-hotone−hot方式将词代表为向量形式，如：

s u n = [ 0 , 1 , 0 , 0 , 0 , 0 , 0 , 0 , 0 , 0 ] sun=[0,1,0,0,0,0,0,0,0,0]

sun=[0,1,0,0,0,0,0,0,0,0]

h o t e l = [ 0 , 0 , 0 , 0 , 1 , 0 , 0 , 0 , 0 , 0 ] hotel=[0,0,0,0,1,0,0,0,0,0]

hotel=[0,0,0,0,1,0,0,0,0,0]

此时存在问题：

向量之间无相似性，各个词用o n e − h o t one-hotone−hot方式表示时，不同词之间都是正交的，不含有近似单词的信息；

向量维度过高，利用o n e − h o t one-hotone−hot方式表示词向量时，向量维度等于词表中的词数，当词数量过多时，这个方法所带来的维度过高问题就会凸显出来；

分布式语义

分布表示的思路

语料->对共现词计数->将计数后的数据转换为向量 ->通过一系列降维方法，将高维转换为低维

LSA（潜在语义分析）

Word Embedding（词嵌入）

通过给每个单词学习一个密集向量，类似于出现在相似上下文中的单词向量，这样的词向量就叫做word embedding或者word representations；

模型结构图

算法基本思想

输入层通过将大规模语料中的每个单词表示为一个密集向量，其中每个单词都是通过向量来表示，对文本进行遍历，每个位置都有一个中心词c cc和语境词表示o oo，通过利用c cc和o oo词向量之间的相似度，从而在给定c cc，计算出o oo的概率（或给定o oo，计算出c cc的概率），还需要通过调节词向量来最大化概率；

具体例子

在给定第t tt个位置中心词b a n k i n g bankingbanking的情况下，当窗口大小设为2 22时，通过给定p ( w t ) p(w_t)p(w

t

)来计算左右窗口大小为2 22的词的条件概率；

相似度

对于每个位置t = 1 , 2 , … … , T t=1,2,……,Tt=1,2,……,T，当预测固定窗口大小为m mm的上文问关联词时，给出中心词为w t w_tw

t

，则相似度为：

L ( θ ) = ∏ t = 1 T ∏ − m < = j < = m , j ≠ 0 P ( w t + j ∣ w t ; θ ) ， 其 中 θ 是 所 有 需 要 优 化 的 变 量 L(\theta)=\prod ^T_{t=1} \prod _{-m<=j<=m,j\not=0} P(w_{t+j}|w_t;\theta)，其中\theta是所有需要优化的变量

L(θ)=

t=1

∏

T

 

−m<=j<=m,j



=0

∏

P(w

t+j

∣w

t

;θ)，其中θ是所有需要优化的变量

目标函数（损失/代价函数）

J ( θ ) = − 1 T l o g L ( θ ) = − 1 T ∑ t = 1 T ∑ − m < = j < = m , j ≠ 0 l o g P ( w t + j ∣ w t ; θ ) J(\theta)=-\frac{1}{T}logL(\theta)=-\frac{1}{T}\sum^T_{t=1}\sum_{-m<=j<=m,j\not=0}logP(w_{t+j}|w_t;\theta)

J(θ)=−

T

1

logL(θ)=−

T

1

 

t=1

∑

T

 

−m<=j<=m,j



=0

∑

logP(w

t+j

∣w

t

;θ)

即目标函数为负的相似度函数对数的平均值，通过最小化目标函数，从而将预测的准确率最大化；

预测函数

如何最小化目标函数呢？我们可以通过对预测函数的的处理来解决这一问题。对于预测函数P ( w t + j ∣ w j , θ ) P(w_{t+j}|w_j,\theta)P(w

t+j

∣w

j

,θ)，可以通过用词w ww的两个向量来解决。我们假设V w V_wV

w

是中心词，U w U_wU

w

是语境词。则对于中心词c cc和语境词o oo而言，存在如下关系：

P ( o ∣ c ) = e x p ( u o T v c ) ∑ w ∈ V e x p ( u w T v c ) P(o|c)=\frac{exp(u^T_ov_c)}{\sum_{w\in V}exp(u^T_wv_c)}

P(o∣c)=

∑

w∈V

exp(u

w

T

v

c

)

exp(u

o

T

v

c

)

其中，分子中o oo和v vv的点积u o T v C u^T_o v_Cu

o

T

v

C

越大，则最后得到的概率P ( o ∣ v ) P(o|v)P(o∣v)越大。而分母则通过指数函数计算之后，从而实现了对整个词表的标准化；

实例

其中P ( u p r o b l e m s ∣ v i n t o ) P(u_{problems}|v_{into})P(u

problems

∣v

into

)为P ( p r o b l e m s ∣ i n t o ; u p r o b l e m s , v i n t o , θ ) P(problems|into;u_{problems},v_{into},\theta)P(problems∣into;u

problems

,v

into

,θ)的简写形式；

Softmax回归

s o f t m a x ( x ) i = e x p ( x i ) ∑ j = 1 n e x p ( x j ) = p i softmax(x)_i = \frac{exp(x_i)}{\sum^n_{j=1}exp(x_j)}=p_i

softmax(x)

i

=

∑

j=1

n

exp(x

j

)

exp(x

i

)

=p

i

s o f t m a x softmaxsoftmax又称为多项逻辑回归（m u l t i n o m i a l l o g i s t i c r e g r e s s i o n multinomial logistic regressionmultinomiallogisticregression），多用于分类过程，它通过将多个神经元的输出，映射到( 0 , 1 ) (0,1)(0,1)区间。它通过将任意值x i x_ix

i

映射到一个概率分布p i p_ip

i

上，"m a x maxmax“是因为它会将输入中最大的值的概率进一步放大，而”s o f t softsoft"则是因为对于输入中极小的值，它也人然后分配一些概率，而不是直接丢弃。因此，s o f t m a x softmaxsoftmax函数常常用在深度学习中；

word2vec中将文本进行向量表示的方法

C B O W （ C o n t i n u o u s B a g o f W o r d s ） CBOW（Continuous Bag of Words）CBOW（ContinuousBagofWords）

给定上下文中的词，然后预测中心词。从而利用中心词的预测结果情况，利用梯度下降方法不断调整上下文词的向量。训练完成后，每个词都作为中心词遍历了一遍，将上下文中的词向量进行调整，从而获取整个文本中所有词的向量；

S G （ S k i p − G r a m ） SG（Skip-Gram）SG（Skip−Gram）

给定中心词，然后预测上下文中的词。从而利用上下文中的词的预测结果情况，利用梯度下降法不断调整中心词的词向量，最后文本遍历完一遍之后，就得到了所有词的词向量；

C B O W CBOWCBOW和S G SGSG的比较

两者均为三层神经网络（输入层、投影层和输出层）。S G SGSG中，每个词作为中心词时，是一对多的情况，多个上下文中的词对一个中心词进行“训练”，然后得出较准确地中心词的向量结果，这样最终的效果更好。C B O W CBOWCBOW中，是多对一的情况，多个上下文中的词从一个中心词处进行“学习”，这样效率更高，速度快，但是最终效果却不如S G SGSG。此外，在S G SGSG中，每个词都会受上下文词的影响，每个词作为中心词时，需要进行K KK次训练（K KK为窗口大小），所以经过多次调整将使得词向量相对更准确。C B O W CBOWCBOW预测词数和整个文本中词数几乎相等，每次预测才会进行一次反向传播。

模型优化的方法

分层S o f t m a x SoftmaxSoftmax

用于计算s o f t m a x softmaxsoftmax的方法，用二叉树（根据类标频数构造的霍夫曼树）来表示词汇表中的所有单词。如上图，其中，白色节点表示词汇表中的所有单词，而黑色节点则表示隐节点。其中V VV个单词存储于二叉树的叶子节点单元，而对于每个叶子节点，都有一条唯一的路径可以从根节点达到该叶子节点，这条路径用于计算该叶子节点所代表的单词的概率。在这个模型中，不存在单词的输出向量，而是V − 1 V-1V−1个隐节点中都有一个输出向量v n ( w , j ) ‘ v ^`_{n(w,j)}v

n(w,j)

‘

，单词作为输出词的概率被定义为：

p ( w = w O ) = ∏ j = 1 L ( w ) − 1 σ ( [ [ n ( w , j + 1 ) = c h ( n ( w , j ) ) ] ] . v n ( w , j ) ‘ T h ) p(w=w_O)=\prod ^{L(w)-1}_{j=1}\sigma([[n(w,j+1)=ch(n(w,j))]].{v^`_{n(w,j)}}^Th)

p(w=w

O

)=

j=1

∏

L(w)−1

σ([[n(w,j+1)=ch(n(w,j))]].v

n(w,j)

‘

 

T

h)

其中，c h ( n ) ch(n)ch(n)是节点n nn的左侧子节点，v n ( w , j ) ‘ v^`_{n(w,j)}v

n(w,j)

‘

是隐节点n ( w , j ) n(w,j)n(w,j)的向量表示（即“输出向量”）。而h hh则是隐藏层的输出值（SG模型中，h = v w i h=v_{wi}h=v

wi

；CBOW模型中，h = 1 C ∑ c = 1 C v w c h=\frac{1}{C}\sum_{c=1}^C v_{w_c}h=

C

1

∑

c=1

C

v

w

c

），[ [ x ] ] [[x]][[x]]则为一个特殊函数，其定义如下：

[ [ x ] ] = { 1    , i f   x   i s   t r u e − 1   ,   o t h e r s [[x]]=

{1  ,if x is true−1 , others

{1  ,if x is true−1 , others

[[x]]={

1  ,if x is true

−1 , others

负采样技术

为解决数量过于庞大的输出向量的更新问题，于是在更新时不更新所有向量，而只更新他们的一个样本。正样本应该出现在我们的样本中，此外也需要加入几个单词作为负样本。而在采样的过程中，我们需要任意指定一个总体的概率分布，这个分布就叫做噪声分布，标记为P n ( w ) P_n(w)P

n

(w)。在w o r d 2 v e c word2vecword2vec中，作者用一个定义好的后多项分布的负采样形式取代简化的训练目标，从而产生高质量的嵌入：

E = − l o g σ ( v w O ‘ T h ) − ∑ w j ∈ W n e g l o g σ ( − v w j ‘ T h ) E=-log\sigma({v^`_{w_O}}^Th)-\sum_{w_j\in W_{neg}}log\sigma(-{v^`_{w_j}}^Th)

E=−logσ(v

w

O

‘

 

T

h)−

w

j

∈W

neg

∑

logσ(−v

w

j

‘

 

T

h)

其中，w O w_Ow

O

是正样本（即输出单词），v w O ‘ v^`_{w_O}v

w

O

‘

是词向量。而h hh则是隐藏层的输出值（SG模型中，h = v w i h=v_{wi}h=v

wi

；CBOW模型中，h = 1 C ∑ c = 1 C v w c h=\frac{1}{C}\sum_{c=1}^C v_{w_c}h=

C

1

∑

c=1

C

v

w

c

）。W n e g = { w j ∣ j = 1 , … , K } W_{neg}=\{w_j|j=1,…,K\}W

neg

={w

j

∣j=1,…,K}是从P n ( w ) P_n(w)P

n

(w)中采样得到的单词集合，即负样本。

G l o v e GloveGlove

定义

基于计数和直接预测的方法；

目标函数

J ( θ ) = 1 2 ∑ i , j = 1 W f ( P i j ) ( u i T v j − l o g P i j ) 2 J(\theta)=\frac{1}{2}\sum^W_{i,j=1}f(P_{ij})(u^T_iv_j-logP_{ij})^2

J(θ)=

2

1

 

i,j=1

∑

W

f(P

ij

)(u

i

T

v

j

−logP

ij

)

2

X f i n a l = U + V X_{final}=U+V

X

final

=U+V

其中，P i j P_{ij}P

ij

是单词j jj出现在单词i ii上下文中的概率，而f ( P i j ) f(P_{ij})f(P

ij

)则是为了去除噪声而设定的函数。

如何评价E m b e d d i n g EmbeddingEmbedding

内在方式：对特定/中间子任务的评估；

外在方式：应用到具体任务中；

f a s t T e x t fastTextfastText分类

在文本分类任务中，f a s t T e x t fastTextfastText作为一种浅层网络，能取得媲美于深度网络的精度，但是训练时间却比深度网络快许多数量级。一般情况下，用f a s t T e x t fastTextfastText进行文本分类的同时也会产生词的e m b e d d i n g embeddingembedding；

字符级的n − g r a m n-gramn−gram

w o r d 2 v e c word2vecword2vec中以词作为原子，为每个词生成一个向量，而忽略词内部形态特征。面对这一问题，f a s t T e x t fastTextfastText采用字符级的n − g r a m n-gramn−gram来表示一个单词。通过这样处理则有两个优点；

对于低频词，生成的词向量效果更好，其n − g r a m n-gramn−gram可以与其他词共享；

对于训练词库外的词，仍然可以构建其词向量，可通过叠加其字符级n − g r a m n-gramn−gram从而生成向量；

模型架构

类似于w o r d 2 v e c word2vecword2vec中的C B O W CBOWCBOW模型，只有输入层、隐藏层、输出层三层。其中，输入为多个单词表示成的向量，输出是一个特定的t a r g e t targettarget，隐藏层是对多个词向量的叠加平均。不同的是，C B O W CBOWCBOW的输入是目标词上下文中的词，而f a s t T e x t fastTextfastText的输入则是多个单词及其n − g r a m n-gramn−gram特征。这些特征用于表示单个文档，C B O W CBOWCBOW中输入词的是经过o n e − h o t one-hotone−hot编码过的，输出为目标词；而f a s t T e x t fastTextfastText中输入特征则是经e m b e d d i n g embeddingembedding过的特征，输出是各个文档对应的类标，且采用分层s o f t m a x softmaxsoftmax优化措施，大大加快了训练速度；

核心思想

将整篇文档的词及n − g r a m n-gramn−gram向量叠加平均，从而得到文档向量，然后利用文档向量做多层s o f t m a x softmaxsoftmax多分类，主要涉及到n − g r a m n-gramn−gram特征的引入以及分层S o f t m a x SoftmaxSoftmax分类技术；

f a s t T e x t fastTextfastText样例

主要步骤

添加输入层（即e m b e d d i n g embeddingembedding层）；

添加隐藏层（即投影层）；

添加输出层（即s o f t m a x softmaxsoftmax层）；

指定损失函数、优化器类型、评价指标、编译模型；