Step By Step
1、奇异值分解算法原理简介
2、Code Sample
3、优缺点
一、算法原理简介
SVD算法本质是：将一个比较复杂的矩阵用更小更简单的3个子矩阵的相乘来表示，这3个小矩阵描述了大矩阵重要的特性。
对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵。
由于这个重要的性质，SVD可以用于PCA降维，来做数据压缩和去噪。也可以用于推荐算法，将用户和喜好对应的矩阵做特征分解，进而得到隐含的用户需求来做推荐。同时也可以用于NLP中的算法，比如潜在语义索引（LSI）。
二、Code Sample
- 2.1 数据降维测试
from sklearn.datasets import load_iris
from sklearn.decomposition import TruncatedSVD
# 加载数据集
iris = load_iris()
X = iris.data
Y = iris.target
print("------原始数据------")
print(X[:10])
truncatedSVD = TruncatedSVD(3)
result = truncatedSVD.fit_transform(X)
print("------SVD转换后的数据------")
print(result[:10])
back_X = truncatedSVD.inverse_transform(result)
print("------还原后的数据------")
print(back_X[:10])The Result
------原始数据------
[[5.1 3.5 1.4 0.2]
[4.9 3. 1.4 0.2]
[4.7 3.2 1.3 0.2]
[4.6 3.1 1.5 0.2]
[5. 3.6 1.4 0.2]
[5.4 3.9 1.7 0.4]
[4.6 3.4 1.4 0.3]
[5. 3.4 1.5 0.2]
[4.4 2.9 1.4 0.2]
[4.9 3.1 1.5 0.1]]
------SVD转换后的数据------
[[ 5.91274714 2.30203322 -0.00740154]
[ 5.57248242 1.97182599 -0.24459225]
[ 5.44697714 2.09520636 -0.01502926]
[ 5.43645948 1.87038151 -0.02050488]
[ 5.87564494 2.32829018 0.11033827]
[ 6.47759822 2.32464996 0.23720249]
[ 5.5159752 2.07090423 0.22985312]
[ 5.85092859 2.14807482 -0.01879377]
[ 5.15891972 1.77506408 -0.06103922]
[ 5.64500117 1.99000106 -0.22485292]]
------还原后的数据------
[[5.09900942 3.50097959 1.4014844 0.19767844]
[4.86870364 3.03094925 1.44689807 0.12665275]
[4.69422107 3.20571484 1.30865982 0.18645629]
[4.62518119 3.0750981 1.4622656 0.25901553]
[5.01947963 3.58073643 1.37080948 0.24565314]
[5.40687172 3.89320449 1.68970262 0.41610481]
[4.61617117 3.38400818 1.37576725 0.33789933]
[5.01454656 3.38561478 1.47820176 0.23409183]
[4.40998651 2.89012425 1.38503506 0.22340474]
[4.91842577 3.08177859 1.4723887 0.14318329]]通过对比看，使用转换后的数据可以很好的还原原始数据。
- 2.2 图片压缩使用示例
import numpy as np
import cv2
from sklearn.decomposition import TruncatedSVD
# jingtian1.jpeg
img = cv2.imread('jingtian1.jpeg')
print('origin image shape is ', img.shape)
def Svd_Compression_Pic(img, k):
res_image = np.zeros_like(img)
for i in range(img.shape[2]):
# 奇异值分解
truncatedSVD = TruncatedSVD(k)
result = truncatedSVD.fit_transform(img[:,:,i]) # 转换后的数据
res_image[:, :, i] = truncatedSVD.inverse_transform(result) # 还原数据
return res_image
res1 = Svd_Compression_Pic(img, k=400)
res2 = Svd_Compression_Pic(img, k=300)
res3 = Svd_Compression_Pic(img, k=100)
res4 = Svd_Compression_Pic(img, k=20)
row11 = np.hstack((res1, res2))
row22 = np.hstack((res3, res4))
res = np.vstack((row11, row22))
cv2.imshow('img', res)
cv2.waitKey(0) # 展示等待，点击任意键继续
cv2.imwrite('svd.png', res) # 保存图片
cv2.destroyAllWindows()The Result
可以看到，当我们取到前面400个奇异值来重构图片时，基本与原图看不出来差别，甚至100的都可以比较清晰的恢复原图。
三、优缺点
优点
- 简化数据，去除噪声，提高算法的结果；
缺点
- 数据的转换可能难以理解；
适用的数据类型
- 数值型数据。
更多参考
Python机器学习笔记：奇异值分解（SVD）算法
Opencv-Python ：图片读取、保存、显示
奇异值分解(SVD)原理与在降维中的应用
