7.2 基于深度学习的自然语言处理
深度学习旨在模拟人脑对事物的认知过程,一般是指建立在含有多层非线性变换的神经网络结构之上,对数据的表示进行抽象和学习的一系列机器学习算法。该方法已对语音识别、图像处理等领域的进步起到了极大的推动作用,同时也引起了自然语言处理领域学者的广泛关注。
如图 1 所示,深度学习为自然语言处理的研究主要带来了两方面的变化,一方面是使用统一的分布式(低维、稠密、连续)向量表示不同粒度的语言单元,如词、短语、句子和篇章等;另一方面是使用循环、卷积、递归等神经网络模型对不同的语言单元向量进行组合,获得更大语言单元的表示。除了不同粒度的单语语言单元外,不同种类的语言,甚至不同模态(语言、图像等)的数据都可以通过类似的组合方式,表示在相同的语义向量空间中;然后通过在向量空间中的运算来实现分类、推理、生成等各种能力,并应用于各种相关的任务之中。下面分别对这两方面加以详细的阐述。