Pandas是一种流行的用于数据操作的Python库，它提供了一种称为“向量化”的强大技术可以有效地将操作应用于整个列或数据系列，从而消除了显式循环的需要。在本文中，我们将探讨什么是向量化，以及它如何简化数据分析任务。
什么是向量化?
向量化是将操作应用于整个数组或数据系列的过程，而不是逐个遍历每个元素。在Pandas中可以对整个列或Series执行操作，而无需编写显式循环。这种高效的方法利用了底层优化的库，使您的代码更快、更简洁。
向量化操作示例
1、基本算术运算
一个具有两列的DataFrame， ' a '和' B '，我们希望以元素方式添加这两列，并将结果存储在新列' C '中。通过向量化，你可以在一行代码中实现这一点:
import pandas as pd
data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
df = pd.DataFrame(data)
# Using vectorization to add columns 'A' and 'B'
df['C'] = df['A'] + df['B']
print(df['C'])
Output:
0 5
1 7
2 9
在本例中，加法运算df['A'] + df['B']同时应用于整个列'A'和'B'，结果存储在列'C'中。
2、apply
向量化还允许对列应用自定义函数。假设你想计算一列中每个元素的平方:
import pandas as pd
data = {'A': [1, 2, 3]}
df = pd.DataFrame(data)
# Define a custom function
def square(x):
return x ** 2
# Applying the 'square' function to the 'A' column
df['A_squared'] = df['A'].apply(square)
print(df['A_squared'])
Output:
0 1
1 4
2 9
使用.apply()将平方函数应用于整个'A'列。不需要显式循环。
3、条件操作
也将矢量化用于条件操作，比如基于列a中的条件创建一个新的列D:
import pandas as pd
data = {'A': [1, 2, 3]}
df = pd.DataFrame(data)
# Creating a new column 'D' based on a condition in column 'A'
df['D'] = df['A'].apply(lambda x: 'Even' if x % 2 == 0 else 'Odd')
print(df)
Output:
A D
0 1 Odd
1 2 Even
2 3 Odd
使用lambda函数来检查' a '中的每个元素是偶数还是奇数，并将结果分配给' D '列。
向量化的好处
在Pandas中向量化提供了几个好处:
- 效率:操作针对性能进行了优化，并且比传统的基于循环的操作快得多，特别是在大型数据集上。
- 清晰度:与显式循环的代码相比，代码通常更简洁，更容易阅读。
- 易用性:您可以使用一行代码将操作应用于整个行或列，降低了脚本的复杂性。
- 兼容性:Pandas与其他数据科学库(如NumPy和scikit-learn)无缝集成，可以在数据分析和机器学习项目中有效地使用向量化数据。
向量化提高代码的速度
向量化是一种强大的编程技术，可以加快代码的执行速度。这种方法利用底层优化的硬件指令和库，使计算更快、更高效。让我们以Python和NumPy为例，探索向量化如何加快代码的速度。
传统的基于循环的处理
在许多编程场景中，可能需要对数据元素集合执行相同的操作，例如逐个添加两个数组或对数组的每个元素应用数学函数。一般都会使用循环一次迭代一个元素并执行操作。
下面是一个没有向量化的Python示例:
list1 = [1, 2, 3, 4, 5]
list2 = [6, 7, 8, 9, 10]
result = []
for i in range(len(list1)):
result.append(list1[i] + list2[i])
print(result)
Output:
[7, 9, 11, 13, 15]
虽然此代码可以工作，但它在循环中单独处理每个元素，这对于大型数据集来说可能很慢。
使用NumPy进行向量化操作
NumPy是一个流行的Python库，提供对向量化操作的支持。它利用了优化的C和Fortran库，使其在数值计算方面比纯Python循环快得多。
下面是使用NumPy的相同加法操作:
array1 = np.array([1, 2, 3, 4, 5])
array2 = np.array([6, 7, 8, 9, 10])
result = array1 + array2
print(result)
Output:
[ 7 9 11 13 15]
NumPy可以一次对整个数组执行操作，并且更有效地处理底层细节。
效率比较
比较一下使用NumPy和Python中传统的基于循环的方法执行元素加法所花费的时间。我们将使用timeit模块来度量这两个方法的执行时间。下面是比较的代码:
import numpy as np
import timeit
# Create two NumPy arrays and two lists for the comparison
array1 = np.random.randint(1, 100, size=1000000)
array2 = np.random.randint(1, 100, size=1000000)
list1 = list(array1)
list2 = list(array2)
# Vectorized processing with NumPy
def numpy_vectorized():
result = array1 + array2
# Traditional loop-based processing
def loop_based():
result = []
for i in range(len(list1)):
result.append(list1[i] + list2[i])
# Measure execution time for NumPy vectorized approach
numpy_time = timeit.timeit(numpy_vectorized, number=100)
# Measure execution time for traditional loop-based approach
loop_time = timeit.timeit(loop_based, number=100)
print(f"NumPy Vectorized Approach: {numpy_time:.5f} seconds")
print(f"Traditional Loop-Based Approach: {loop_time:.5f} seconds")
Output:
NumPy Vectorized Approach: 0.30273 seconds
Traditional Loop-Based Approach: 17.91837 seconds
可以看到NumPy向量化方法对于大数据集的速度要快得多，因为它的矢量化操作是经过优化的。
向量化加速代码的原理
向量化为加快代码速度提供了几个优势:
减少循环开销:在传统循环中，存在与管理循环索引和检查循环条件相关的开销。通过向量化，可以消除这些开销，因为这些操作应用于整个数组。
优化的低级指令:像NumPy这样的库使用优化的低级指令(例如，现代cpu上的SIMD指令)来对数组执行操作，充分利用硬件功能。这可以显著提高速度。
并行性:一些向量化操作可以并行化，这意味着现代处理器可以同时执行多个操作。这种并行性进一步加快了计算速度。
总结
Pandas和NumPy等库中的向量化是一种强大的技术，可以提高Python中数据操作任务的效率。可以以高度优化的方式对整个列或数据集合执行操作，从而生成更快、更简洁的代码。所以无论是在处理基本算术、自定义函数还是条件操作，利用向量化都可以极大地改进数据分析工作流。
https://avoid.overfit.cn/post/ae2f68c9b2a548b59629755a05bbcebe
