一、矩阵分解
机器学习中常见的矩阵分解有特征分解和奇异值分解。
先提一下矩阵的特征值和特征向量的定义
若矩阵 A AA 为方阵，则存在非零向量 x xx 和常数 λ \lambdaλ 满足 A x = λ x Ax=\lambda xAx=λx，则称 λ \lambdaλ 为矩阵 A AA 的一个特征值，x xx 为矩阵 A AA 关于 λ \lambdaλ 的特征向量。
二、信息论
熵(Entropy)
信息熵，可以看作是样本集合纯度一种指标，也可以认为是样本集合包含的平均信息量。
假定当前样本集合X中第i类样本 𝑥 𝑖 𝑥_𝑖x
i
所占的比例为P ( 𝑥 𝑖 ) ( i = 1 , 2 , . . . , n ) P(𝑥_𝑖)(i=1,2,...,n)P(x
i
)(i=1,2,...,n)，则X的信息熵定义为
