《深度学习导论及案例分析》一第2章预 备 知 识2.1矩阵运算-阿里云开发者社区

开发者社区> 华章计算机> 正文

《深度学习导论及案例分析》一第2章预 备 知 识2.1矩阵运算

简介:
+关注继续查看

#### 本节书摘来自华章出版社《深度学习导论及案例分析》一书中的第2章,第2.1节,作者李玉鑑 张婷,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

第2章

预 备 知 识

深度学习的理论和模型涉及较多的预备知识,包括矩阵运算、概率论、信息论、图模型、马尔可夫链蒙特卡罗方法,等等。本章主要对这些预备知识进行梳理和介绍,特别是概率有向图模型(或称贝叶斯网络)、概率无向图模型(或称马尔可夫网络)和部分有向无圈图模型(或称链图模型)的有关知识,对理解受限玻耳兹曼机、深层信念网络和深层玻耳兹曼机的模型结构非常重要。而且,本章将专门讨论玻耳兹曼机模型,其学习算法涉及马尔可夫链、吉布斯采样和变分方法,有助于掌握受限玻耳兹曼机、深层信念网络和深层玻耳兹曼机的核心内容。此外,本章还将针对前馈神经网络建立一个通用反向传播算法,有助于推导和理解其他各种深层网络的具体反向传播算法。最后,简要介绍人工神经网络的通用逼近定理。

2.1矩阵运算

虽然本书假定读者已经掌握了基本的线性代数和高等数学知识,但为了方便理解,本节首先总结一些常用的矩阵运算及偏导公式。

给定两个矩阵A=(aij)m×n和B=(bij)m×n,它们的阿达马积和克罗内克积定义如下:
阿达马积(Hadamard product)AB=(aij•bij)m×n,又称逐元素积(elementwise product)。
克罗内克积(Kronnecker product)AB=a11B…a1nB



am1B…amnB

如果a、b、c和x是n维向量,A、B、C和X是n阶矩阵,那么
(aTx)x=(xTa)x=a(2.1)

(aTXb)X=abT(2.2)

(aTXTb)X=baT(2.3)

(aTXa)X=(aTXTa)X=aaT(2.4)

(aTXTXb)X=X(abT+baT)(2.5)

[(Ax+a)TC(Bx+b)]x=ATC(Bx+b)+BTC(Ax+a)(2.6)

(xTAx)x=(A+AT)x(2.7)

[(Xb+c)TA(Xb+c)]X=(A+AT)(Xb+c)bT(2.8)

[bTXTAXc]X=ATXbcT+AXcbT(2.9)

如果f是一元函数,那么其逐元向量函数和逐元矩阵函数定义为:

逐元向量函数(elementwise vector function)f(x)=(f(x1),f(x2),…,f(xn))T=(f(xi))T


逐元矩阵函数(elementwise matrix function)f(X)=f(xij)


本书把它们统称为逐元函数(elementwise function),比如逐元sigmoid函数、逐元tanh函数。

逐元函数的导数分别为f′(x)=(f′(x1),f′(x2),…,f′(xn))T和f′(X)=(f′(xij))。

如果用Tr(.)表示矩阵的迹函数(即计算矩阵的对角元素之和),那么不难得到:
[Tr(f(X))]X=(f′(X))T(2.10)

[Tr(sin(X))]X=(cos(X))T(2.11)
如果U=F(X)是关于X的矩阵值函数且g(U)是关于U的实值函数,那么下面的链式法则(chain rule)成立:
g(U)X=g(U)xij=∑k∑lg(U)ukluklxij=Trg(U)UTUxij(2.12)
此外,关于矩阵迹函数Tr(.)还有如下偏导公式:
[Tr(AXB)]X=ATBT(2.13)

[Tr(AXTB)]X=BA(2.14)

[Tr(AX)]X=Tr(A)I(2.15)

[Tr(AXBX)]X=ATXTBT+BTXAT(2.16)

[Tr(CTXTBXC)]X=(BT+B)XCCT(2.17)

[Tr(XTBXC)]X=BXC+BTXCT(2.18)

[Tr(AXBXTC)]X=ATCTXBT+CAXB(2.19)

[Tr((AXB+C)(AXB+C)T)]X=2AT(AXB+C)BT(2.20)

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10092 0
《深度学习导论及案例分析》一2.2概率论的基本概念
####本节书摘来自华章出版社《深度学习导论及案例分析》一书中的第1章,第1.1节,作者李玉鑑 张婷,更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2概率论的基本概念 2.2.1概率的定义和性质 概率(probability)是一个从随机事件空间到实数域的函数,用来描述随机事件发生的可能性。
1300 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7365 0
10059
文章
0
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载