一文读懂「Attention is All You Need」| 附代码实现
前言
2017 年中,有两篇类似同时也是笔者非常欣赏的论文,分别是 FaceBook 的 Convolutional Sequence to Sequence Learning 和 Google 的 Attention is All You Need,它们都算是 Seq2Seq 上的创新,本质上来说,都是抛弃了 RNN 结构来做 Seq2Seq 任务。
揭秘阿里人工智能实验室首款智能音箱——天猫精灵X1
7月5日下午,阿里人工智能实验室在北京正式发布了旗下首款智能设备——天猫精灵X1,据介绍,这款产品采用了阿里人工智能实验室自主研发的中文语义理解引擎,内置第一代中文人机交流系统AliGenie,并且依托阿里云的机器学习技术实现智能家居控制、语音购物、手机充值、音乐播放等功能。
DL应用:query生成和query推荐
引言 在机器翻译、图片描述、语义蕴涵、语音识别和文本摘要中,序列到序列的问题已经有太多大牛研究了,也取得了很多突破。谷歌的Attention is all you need[1],舍弃并超越了主流的rnn与cnn序列建模框架,刷出了新的state of the art,这种大胆创新的精神值得我们学习。