3.4 网络表示学习的应用
由于基于神经网络的网络表示方法的高效性,它被越来越多地应用到除传统应用场景(如网络节点分类、推荐和链接预测等)之外的其他方面(如文本建模[17,28]和可视化处理[29] )。
文本语料可以表示为一个带权重的网络结构(节点表示词,边权重表示词与词之间共现的程度),因此网络的表示方法同时也可以应用到文本建模中。LINE [17] 模型一个重要的应用就是学习词的向量表示,相比现在流行的 Skip-gram 词向量模型,它具有效率更高和效果更好的特点。在文献 [17] 中,作者指出 LINE 模型使用的语言网络结构相比 Skip-gram 模型使用的文本原始的词序列结构,能够更好地抓住词之间的全局共现信息。另外,当数据量很大时,LINE 模型的训练效率更高。为了引入标签信息来指导文本表示的学习 , 文献 [28] 在 LINE模型的基础上,提出了针对文本的半监督表示学习模型 PTE(Predictive Text Embedding)。除了使用基本的词与词的共现网络信息,PTE 模型还考虑了词与文档和词与标签的网络信息。相比有监督的神经网络模型 CNN(Convolutional neural network)和 无 监 督 表 示 模 型 Paragraph vector 和 LINE,PTE 在长文本语料和短文本语料都取得了更好的效果;并且, PTE 模型的参数在不同数据集上更加稳定。文献 [29] 基于 LINE 模型获得数据表示,提出了对高维和大规模的数据进行可视化处理的新方法。