一文读懂「Attention is All You Need」| 附代码实现
前言
2017 年中,有两篇类似同时也是笔者非常欣赏的论文,分别是 FaceBook 的 Convolutional Sequence to Sequence Learning 和 Google 的 Attention is All You Need,它们都算是 Seq2Seq 上的创新,本质上来说,都是抛弃了 RNN 结构来做 Seq2Seq 任务。
时间卷积网络(TCN)在 NLP 多领域发光,RNN 或将没落
我们一开始认为,时序问题(如语言、语音等等)天生就是 RNN 的地盘。然而现在这一观点要成为过去式了。时间卷积网络(Temporal Convolutional Nets, TCNs)作为 CNN 家族中的一员健将,拥有许多新特性,如今已经在诸多主要应用领域中击败了 RNN。
阿里云发布三大人工智能产品,构建最全AI平台
7月18日,阿里云正式发布了三款人工智能产品:图像搜索、智能语音自学习平台以及机器翻译,三款产品由阿里云与阿里巴巴机器智能技术实验室联合自主研发,旨在为不同行业的用户提供业界领先的人工智能解决方案,进一步推动产业AI的落地。