词向量的运用-用词向量理解词组的含义-阿里云开发者社区

开发者社区> 人工智能> 正文
登录阅读全文

词向量的运用-用词向量理解词组的含义

简介: 之前花了5篇介绍了word2vec的方法。词向量最大的意义是把原来的字符串变成了一个数字形式的向量,也就是说现在词和图像变得非常相近,因为图像也就是例如255*255的像素点,而每个像素也是一个数字。因此,词向量被很多任务作为初始的输入,从这开始,我将以轻松的形式来介绍词向量的运用场景。 = 本着先进性的原则,我会介绍最新的16年的论文,以较轻松的形式。今天分析这篇: 用词向
  之前花了5篇介绍了word2vec的方法。词向量最大的意义是把原来的字符串变成了一个数字形式的向量,也就是说现在词和图像变得非常相近,因为图像也就是例如255*255的像素点,而每个像素也是一个数字。因此,词向量被很多任务作为初始的输入,从这开始,我将以轻松的形式来介绍词向量的运用场景。

=

本着先进性的原则,我会介绍最新的16年的论文,以较轻松的形式。今天分析这篇:
用词向量理解词组的含义http://aclweb.org/anthology/Q/Q16/Q16-1002.pdf

Key Idea

作者的核心思想:用词典的定义来训练词组,
如 Piano:
A large keyboard musical instrument with a wooden case enclosing a soundboard and metal strings
那么代表下面一串的词组的向量就应该是piano向量.

训练的话,使用RNN或者一般的Bag of Word 神经网络。
简单来说,RNN训练的目标是
A,large,keyboard,musical,....strings -> Piano
这样一个序列能够得到Piano。
而Bag of Word则是
A->Piano, large->Piano, keyboard ->Piano,...strings ->Pinao这样每个单词可以得到答案Piano.
乍看之下RNN显得要比Bag of Word更合理,但是RNN存在vanishing gradient和迭代更新慢的特点,目前还没有在实用性上得到普及。

效果展示

作者提供了网址来测试他的研究。
我从几个维度来测试了效果,我先试了
A big company in China

1
可以看到训练数据应该不包含公司的信息,RNN输出的结果基本是乱码,而BOW输出的基本为地名,应该是匹配上了Place in China。

我再试了非常正规的词,路由器。以下定义都是我自己写的,和词典的无关。
A device that can access the Internet
2
可以看到这次RNN和BOW都得到了精准的答案,modern,在之前的几个结果和符合逻辑,什么server,browser.

最后我试了一个连我都不知道答案的介绍,想看看表现如何。
A book that can kill people。 一本杀人书!
3png

RNN给出了死灵书这样的答案,非常给力啊。而BOW则非常中规中矩,给出了一些书的别称。

自然语言处理尚在发展时期,而不久的将来语义的理解可能不是梦o(∩_∩)o 哈哈。

=

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
人工智能
使用钉钉扫一扫加入圈子
+ 订阅

了解行业+人工智能最先进的技术和实践,参与行业+人工智能实践项目

其他文章
最新文章
相关文章