目录
二次型
概念
二次型是一个关于向量的二次多项式,通常用矩阵表示。
考虑一个n维向量x = [x₁, x₂, ..., xn],对应的二次型可以表示为:
Q(x) = xᵀA𝑥
其中,xᵀ表示向量x的转置,A是一个n×n的实对称矩阵。
示例
二次型可以使用向量与矩阵相乘的形式表示
为了研究方便,二次型使用x^T^Ax的形式表示,其中,中间的矩阵A为对称矩阵
性质和特点
1.对称性:如果系数矩阵A是对称矩阵,即Aᵀ = A,那么二次型Q(x)是对称的,即Q(x) = Q(xᵀ)。
2.标准形式:通过合适的线性变换,可以将任何二次型转化为标准形式。标准形式是指二次型只包含平方项,而没有交叉项和常数项。通过正交变换可以实现这样的转化。
3.矩阵特征值:二次型的矩阵A的特征值与二次型的正负定性相关。如果A的所有特征值都大于零,则二次型是正定的;如果所有特征值都小于零,则二次型是负定的;如果特征值既有正又有负,则二次型是不定的。
4.几何意义:二次型在几何上表示为一个二次曲面或椭圆抛物面。二次型的正负定性与曲面的凸凹性和极值点的性质相关。
5.应用:二次型在优化问题、矩阵理论、统计学、物理学等领域中有广泛的应用。它们在最小二乘问题、二次规划、协方差矩阵分析、精确度矩阵等方面发挥重要作用。
特征值与特征向量
概念
设A是n阶方阵,如果数λ和n维非零向量x使关系式Ax = λx成立,那么,λ称为方阵A
的特征值;非零向量x称为A的属于特征值λ的特征向量。
示例
则数3为方阵[4 -2,1 1]的特征值;非零向量(2,1)为方阵[4 -2,1 1]的属于特征值3的特征向量。
注意
- 特征值与特征向量是针对方阵而言的
- 特征向量是非零向量
- 同一个特征值λ对应无穷多个特征向量
性质和特点
1.特征向量:特征向量v是与特征值λ关联的非零向量。它表示在矩阵A的作用下,保持在该方向上只发生伸缩变化而不改变方向。
2.特征值:特征值λ是与特征向量v关联的标量。它表示特征向量v在矩阵A的作用下发生的伸缩比例。特征值可以是实数或复数。
3.特征空间:特征空间是由所有与特定特征值关联的特征向量所张成的向量空间。对于特定特征值λ,特征空间包含所有满足A·v = λ·v的特征向量v。
4.特征分解:特征分解是将一个矩阵分解为特征向量和特征值的形式。对于一个可对角化的矩阵,可以表示为 A = P·D·P⁻¹,其中P是由特征向量组成的矩阵,D是对角矩阵,其对角线上的元素是矩阵A的特征值。
5.特征值与矩阵性质:特征值与矩阵的很多性质和行为密切相关。例如,特征值的个数等于矩阵的秩;矩阵的特征值之和等于其主对角线上元素之和(迹);特征值的乘积等于矩阵的行列式。
特征值分解
特征值分解是将一个矩阵分解成下面的形式:
其中Q是这个矩阵A的特征向量组成的矩阵,Σ是一个对角矩阵(只有对角线上有非0元
素的矩阵称为对角矩阵),对角线的值是由矩阵所有特征值构成的。
其中,Q是这个矩阵A的特征向量组成的矩阵,Σ是一个对角矩阵,每一个对角线元素
就是一个特征值,里面的特征值是由大到小排列的,这些特征值所对应的特征向量就是描述
这个矩阵变化方向(从主要的变化到次要的变化排列)。也就是说矩阵A的信息可以由其特
征值和特征向量表示。
对于矩阵为高维的情况下,那么这个矩阵就是高维空间下的一个线性变换。可以想象,
这个变换也同样有很多的变换方向,我们通过特征值分解得到的前N个特征向量,那么就对
应了这个矩阵最主要的N个变化方向。我们利用这前N个变化方向,就可以近似这个矩阵
(变换)。
注意
- 特征值分解可以得到特征值与特征向量
- 特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么
- 特征值分解是针对于方阵而言
多元函数的泰勒展开
回顾一元函数泰勒展开
函数 f(x)在含 x~k~ 的某个开区间 (a,b)内具有直到 n 阶导数,则对任意的 x∈(a,b)有
其中,x~0~是泰勒公式的展开点,R~n~(x)是泰勒公式的余项。
展开二项的形式为:
多元函数的泰勒展开
f(x~k~)是标量,而且是个常数;不过注意(x-x~k~)是个向量,然后T转置这里是把梯度和
(x-x~k~)做内积;二次项的内积,是和 hessian 矩阵做内积。
多元函数泰勒展开是非常有用的,例如在推导梯度下降法,牛顿法的时候会用的到的。