开发者社区> KB小秘书> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

一文读懂深度学习中的矩阵微积分,fast.ai创始人&ANTLR之父出品 | 免费资源

简介: 想要真正了解深度神经网络是如何训练的,免不了从矩阵微积分说起。 虽然网络上已经有不少关于多元微积分和线性代数的在线资料,但它们通常都被视作两门独立的课程,资料相对孤立,也相对晦涩。 不过,先别打退堂鼓,来自旧金山大学的Terence Parr教授说:矩阵微积分真的没有那么难。 这位ANTLR之父和fast.ai创始人Jeremy Howard一起推出了一篇免费教程,旨在帮你快速入门深度学习中的矩阵微积分。简明,易懂。
+关注继续查看

想要真正了解深度神经网络是如何训练的,免不了从矩阵微积分说起。

虽然网络上已经有不少关于多元微积分和线性代数的在线资料,但它们通常都被视作两门独立的课程,资料相对孤立,也相对晦涩。

不过,先别打退堂鼓,来自旧金山大学的Terence Parr教授说:矩阵微积分真的没有那么难。

这位ANTLR之父和fast.ai创始人Jeremy Howard一起推出了一篇免费教程,旨在帮你快速入门深度学习中的矩阵微积分。简明,易懂。

DeepMind研究科学家Andrew Trask评价说:

如果你想跳过不相干的内容,一文看尽深度学习中所需的数学知识,那么就是这份资源没错了。

image.png

只需一点关于微积分和神经网络的基础知识,就能单刀直入,开始以下的学习啦。

深度学习所需的矩阵微积分
先来看一眼这篇教程都涵盖了哪些内容:

基本概念

矩阵微积分

神经元激活的梯度

神经网络损失函数的梯度

image.png

文章开篇,先介绍了一下人工神经元。

image.png

神经网络中单个计算单元的激活函数,通常使用权重向量w与输入向量x的点积来计算。

神经网络由许多这样的单位组成。它们被组织成称为层的神经元集合。上一层单元的激活成为下一层单元的输入,最后一层中一个或多个单元的激活称为网络输出。

训练神经元意味着对权重w和偏差b的选择。我们的目标是逐步调整w和b,使总损失函数在所有输入x上都保持较小。

image.png

导数规则、向量计算、偏导数……复习完需要掌握的先导知识,文章开始进入重要规则的推导,这些规则涉及矢量偏导数的计算,是神经网络训练的基础。

比如在矩阵微积分这一节中,涵盖:

雅可比式(Jacobian)的推广

向量element-wise二元算子的导数

涉及标量展开的导数

向量和降维

链式法则

image.png

每一小节中,都有简洁明了的示例,由浅入深,层层递进。

如果你在学习的过程中遇到不理解的地方,不要着急,耐心返回上一节阅读,重新演算一下文中的示例,或许就能理顺思路。

如果实在是卡住了无法推进,你还可以在fast.ai论坛(链接见文末)的“Theory”分类下提问,向Parr和Howard本人求解答。

而在文章的末尾,作者附上了所有数学符号的对照表。

image.png

以及重点概念的详细补充信息。

image.png

值得注意的是,Parr和Howard也强调了,与其他学术方法不同,他们强烈建议先学会如何训练和使用神经网络,然后再深入了解背后的基础数学。因为有了实践经验,数学会变得刚容易理解。

传送门
网页版:
https://explained.ai/matrix-calculus/index.html

PDF:
https://arxiv.org/abs/1802.01528

fast.ai论坛:
http://forums.fast.ai/

文章来源:量子位
作者: 公众号 QbitAI

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云视觉AI 5天实践训练营-day02-身份证识别系统搭建
人工智能听上去起点高,入门难,许多人想要使用AI服务又无法独立完成编写。阿里云视觉平台就为开发者提供了很友好的帮助,大量的API服务帮助我们快速建立视觉智能项目。下面我将通过身份证识别系统搭建简单介绍一下它的使用。
451 0
阿里云高校计划视觉AI训练营 Day 2学习笔记
专业、全面、易用的视觉A시能力
233 0
视觉AI训练营 DAY2 身份证识别系统搭建
该项目是通过阿里云自主研发的sdk,实现图片识别功能 通过上传身份证照片可以显示出身份证的信息 基于springboot实现
448 0
视觉AI五天训练营 Day02 身份证识别系统搭建
视觉AI五天训练营 Day02 身份证识别系统搭建
731 0
阿里云视觉AI 5天实践训练营-day03-电子相册搭建(人脸、表情识别)
电子相册搭建是用阿里提供的方法将上传的图片进行分类,下面就简单介绍一下它的大概逻辑
151 0
视觉AI训练营——学成第三天感悟
视觉AI训练营——学成第三天感悟
299 0
阿里云高校计划视觉AI五天训练营教程 Day 3 - 电子相册搭建(人脸、表情识别)
阿里云高校计划视觉AI五天训练营教程 Day 3 - 电子相册搭建(人脸、表情识别)
417 0
+关注
1093
文章
1262
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载