【机器学习】向量化计算 ---机器学习路上必经路
一、求解矩阵
在求解矩阵中，往往有很多很好的，经过高度优化的线性代数库，如octave，matlib，python numpy, c++,java.
我们使用这些线性代数库，可以短短几行实现 所要的效果。
阅读本文内容（需要一点点线性代数的知识）
二、例一
例如 求公式：
h ( x ) = ∑ i = 1 n θ i ∗ x i h(x) = \sum_{i=1}^n\theta_i*x_ih(x)=∑i=1nθi∗xi
我们可以通过循环每一个值来求 每一个i ii所对应的结果，但此时循环的时间复杂度为O ( n ) O(n)O(n) ， 我们可以把 θ i ( i = 1 , 2 , 3... n ) \theta_i(i=1,2,3...n)θi(i=1,2,3...n) 看为n nn维的列向量，x i x_ixi作为 n nn维的列向量，则原公式即为求两个向量的内积 θ T ∗ x i \theta^T*x_iθT∗xi 来求得方程，这样在numpy中仅仅需要一行代码。如下图（演示代码为octave(matlib开源版））
c++实现
三、例二
- 再看一个复杂一点的例子：
（对梯度下降还不了解建议先食用文章：机器学习】浅谈正规方程法&梯度下降）
在梯度下降(Gradient descent)同步更新参数θ i ( i = 1 , 2 , 3... m ) 中 \theta_i(i=1,2,3...m)中θi(i=1,2,3...m)中
我们可以通过循环i ii得到每个参数更新，但我们是否能用例子一的方法 简化呢，
如图:
我们将所求式子变为 向量之间的运行，
θ = θ − α ∗ δ \theta = \theta - \alpha * δθ=θ−α∗δ
(其中：δ δδ = ∑ x = 1 n （ h θ ( x ) − y i ） 2 n ∗ x i \sum_{x=1}^n \frac{（h_\theta(x) - y_i）^2}{ n }*x_i∑x=1nn（hθ(x)−yi）2∗xi,h θ ( x ) − y i h_\theta(x) - y_ihθ(x)−yi 是一个实数，x i x_ixi是特征维度的列向量)
此时参数 θ i \theta_iθi也能同步更新，符合要求
四、写在最后
在面对，数据为百万级别，千万级别，或者特征为百万级别，特征级别，向量化计算对提高运算效率非常高效，比
for循环要好用得多，这在机器学习中是非常常见的，一定要掌握
