介绍
🎵🕺🗣🏀
循环自然而然地出现在我们身边，我们了解几乎所有编程语言中的循环。因此，默认情况下，只要有重复操作，我们就会开始执行循环。但是当我们处理大量迭代（数百万/十亿行）时，使用循环是一种犯罪。您可能会被困几个小时，后来才意识到它行不通。这就是在 python 中实现矢量化变得非常关键的地方。
什么是矢量化？
矢量化是在数据集上实现 (NumPy) 数组操作的技术。在后台，它将一次性运算数组中所有元素（不同于一次操作一行的“for”循环）。
下面我将用一些示例，分别使用python 循环和矢量化实现，看下能够帮助您节省出多少时间。
就是把能数学运算的数据（int、float）放到numpy的数组中处理
示例
示例1：求数字之和
循环
import time start = time.time() total = 0 for item in range(0, 1500000): total = total + item print('sum is:' + str(total)) end = time.time() print(end - start) #sum is 1124999250000 #0.14 Seconds
矢量化
import numpy as np start = time.time() print(np.sum(np.arange(1500000))) end = time.time() print(end - start) #1124999250000 #0.008 Seconds
与使用循环函数的迭代相比，矢量化的执行时间减少了约 18 倍。在使用 Pandas DataFrame 时，这种差异将变得更加显着。
示例2：在DataFrame上数学运算
DataFrame 是行和列形式的表格数据。
创建一个具有 500 万行和 4 列的 pandas DataFrame，其中填充了 0 到 50 之间的随机值。
import numpy as np import pandas as pd df = pd.DataFrame(np.random.randint(0, 50, size=(5000000, 4)), columns=('a','b','c','d')) df.shape # (5000000, 5) df.head()
目的创建一个新列“ratio”来保存列“d”和“c”的比率。
循环
import time start = time.time() for idx, row in df.iterrows(): df.at[idx,'ratio'] = 100 * (row["d"] / row["c"]) end = time.time() print(end - start) # 109 Seconds
矢量化
start = time.time() df["ratio"] = 100 * (df["d"] / df["c"]) end = time.time() print(end - start) # 0.12 seconds
我们可以看到 DataFrame 的显着改进，与 Python 中的循环相比，矢量化操作所花费的时间几乎快 1000 倍。
示例3：在 DataFrame 上If-else语句
基于示例2，我们根据现有列“a”上的某些条件创建一个新列“e”。
循环
import time start = time.time() for idx, row in df.iterrows(): if row.a == 0: df.at[idx,'e'] = row.d elif (row.a <= 25) & (row.a > 0): df.at[idx,'e'] = (row.b)-(row.c) else: df.at[idx,'e'] = row.b + row.c end = time.time() print(end - start) #177 seconds
矢量化
start = time.time() df['e'] = df['b'] + df['c'] df.loc[df['a'] <= 25, 'e'] = df['b'] -df['c'] df.loc[df['a']==0, 'e'] = df['d']end = time.time() print(end - start) # 0.28007707595825195 sec
与使用 if-else 语句的 python 循环相比，矢量化操作所花费的时间快 600 倍。
示例4：机器学习/深度学习
深度学习要求我们解决多个复杂的方程式，而且需要解决数百万和数十亿行的问题。在 Python 中运行循环来求解这些方程式非常慢，矢量化是最佳解决方案。
例如，计算以下多元线性回归方程中数百万行的 y 值：
循环
import numpy as np m = np.random.rand(1,5) x = np.random.rand(5000000,5) total = 0 tic = time.process_time() for i in range(0,5000000): total = 0 for j in range(0,5): total = total + x[i][j]*m[0][j] zer[i] = total toc = time.process_time() print(str((toc - tic)) + "seconds") # 28.228 seconds
矢量化
tic = time.process_time() np.dot(x,m.T) toc = time.process_time() print(str((toc - tic)) + "seconds") # 0.107 seconds
np.dot 在后端实现矢量化矩阵乘法。与 Python 中的循环相比，它快 165 倍。
