一文读懂「Attention is All You Need」| 附代码实现
前言
2017 年中,有两篇类似同时也是笔者非常欣赏的论文,分别是 FaceBook 的 Convolutional Sequence to Sequence Learning 和 Google 的 Attention is All You Need,它们都算是 Seq2Seq 上的创新,本质上来说,都是抛弃了 RNN 结构来做 Seq2Seq 任务。
深度学习必备手册(上)
深度学习作为人工智能的前沿技术,虽然一方面推动者人工智能的发展;但是人类的终极目标是强人工智能,最近也有一些关于类似于笔者认为的广度学习的出现,但是宗其所属,还是应该在深度学习发展的历史上前进。
卷积神经网络应用:基于Tensorflow的CNN/CRF图像分割技术
本篇文章验证了卷积神经网络应用于图像分割领域时存在的一个问题——粗糙的分割结果。根据像素间交叉熵损失的定义,我们在简化的场景下进行了模型的训练,并使用后向传播来更新权重。我们使用条件随机场(CRFs)来解决分割结果粗糙的问题,并取得了很好的效果。本文中的代码注释详细、功能完善,也便于读者阅读。
高性能深度学习支持引擎实战——TensorRT
随着传统的高性能计算和新兴的深度学习在百度、京东等大型的互联网企业的普及发展,作为训练和推理载体的GPU也被越来越多的使用。NVDIA本着让大家能更好地利用GPU,使其在做深度学习训练的时候达到更好的效果的目标,推出了支持高性能深度学习支持引擎——TensorRT。