《中国人工智能学会通讯》——1.31 深度学习 在自然语言处理研究上的进展-阿里云开发者社区

开发者社区> 人工智能> 正文

《中国人工智能学会通讯》——1.31 深度学习 在自然语言处理研究上的进展

简介: 本节书摘来自CCAI《中国人工智能学会通讯》一书中的第1章,第1.31节, 更多章节内容可以访问云栖社区“CCAI”公众号查看。

1.31 深度学习 在自然语言处理研究上的进展

近年来,深度学习在人工智能的多个子领域都取得了显著的进展。在自然语言处理领域,虽然深度学习方法也收到越来越多的关注,在很多任务上也取得了一定效果,但是并没有其他领域那么显著。传统的主流自然语言处理方法是基于统计机器学习的方法,所使用的特征大多数是基于 onehot 向量表示的各种组合特征。这个特征表示方式会导致特征空间非常大,但也带来一个优点。就是在非常高维的特征空间中,很多任务上都是近似线性可分的。因此,在很多任务上,使用线性分类器就是可以取得比较满意的性能。研究者更加关注于如何去提取能有效的特征,也就是“特征工程”。

和传统统计机器学习不同,在自然语言处理中使用深度学习模型首先需要将特征表示从离散的 onehot向量表示转换为连续的稠密向量表示,也叫分布式表示。分布式表示的一个优点是特征之间存在“距离”概念,这对很多自然语言处理的任务非常有帮助。早期研究者采用比较保守的方法,将离散特征的分布式表示作为辅助特征引入传统的算法框架,取得了一定的进展,但提升都不太显著。近两年来,随着对深度学习算法的理解逐渐加深,越来越多的研究者开始从输入到输出全部采用深度学习模型,并进行端到端的训练,在很多任务上取得了比较大的突破。本文从词嵌入、基础模型和应用三个方面简要地回顾和梳理近两年深度学习在自然语言处理领域的进展。

版权声明:本文首发在云栖社区,遵循云栖社区版权声明:本文内容由互联网用户自发贡献,版权归用户作者所有,云栖社区不为本文内容承担相关法律责任。云栖社区已升级为阿里云开发者社区。如果您发现本文中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,阿里云开发者社区将协助删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章