作者:UC 国际研发 迎松
注意
1.由于svd分解是基于对feature map冗余信息的降维近似,当生成feature map所用的数据集与原来训练网络模型时所用的数据集有差别时,分解的精度会受很大影响。但是卷积核分解不存在此问题。
2.利用svd的非线性方法进行分解时需要求解GSVD,当feature map的协方差矩阵低秩时可能有复数解,此时应该使用线性求解的方法
3.利用cgd求解双凸问题时,初始值的选择可能会影响目标函数的结果。
参考文献
[1] Zhang X, Zou J, He K, et al. Accelerating Very Deep Convolutional Networks for Classification and Detection[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 38(10):1943.
[2] Jaderberg M, Vedaldi A, Zisserman A. Speeding up Convolutional Neural Networks with Low Rank Expansions[J]. Computer Science, 2014, 4(4):XIII.
[3] Takane Y, Hwang H. Regularized linear and kernel redundancy analysis[J]. Computational Statistics & Data Analysis, 2007, 52(1):394-405.