Python 的 Pandas 和 NumPy 库是不可或缺的工具。它们提供了丰富的功能和方法，帮助我们高效地处理和分析数据。下面通过一些实际案例来深入剖析 Pandas 与 NumPy 的高级技巧。
首先，来看一个使用 Pandas 进行数据清洗的案例。假设我们有一个包含用户信息的数据集，其中存在一些缺失值和错误的数据格式。
import pandas as pd
data = {
'Name': ['Alice', 'Bob', None, 'David'],
'Age': [25, '30', 40, '45'],
'City': ['New York', 'London', 'Tokyo', 'Beijing']}
df = pd.DataFrame(data)
# 处理缺失值
df.fillna('Unknown', inplace=True)
# 转换数据类型
df['Age'] = df['Age'].astype(int)
接下来，使用 NumPy 进行数组的运算和操作。
import numpy as np
arr1 = np.array([1, 2, 3])
arr2 = np.array([4, 5, 6])
# 元素级别的加法
result_add = arr1 + arr2
print(result_add)
# 矩阵乘法
matrix1 = np.array([[1, 2], [3, 4]])
matrix2 = np.array([[5, 6], [7, 8]])
result_matrix_multiply = np.dot(matrix1, matrix2)
print(result_matrix_multiply)
再看一个复杂的案例，结合 Pandas 和 NumPy 进行数据分析和特征工程。假设有一个销售数据的数据集，我们想要计算每个产品的平均销售额，并创建一个新的特征表示销售额的标准化值。
data = {
'Product': ['A', 'B', 'A', 'B'],
'Sales': [100, 200, 150, 250]}
df = pd.DataFrame(data)
# 使用 Pandas 计算每个产品的平均销售额
average_sales = df.groupby('Product')['Sales'].mean()
# 使用 NumPy 进行标准化
sales_values = df['Sales'].values
standardized_sales = (sales_values - np.mean(sales_values)) / np.std(sales_values)
df['Standardized_Sales'] = standardized_sales
另一个案例是使用 Pandas 的时间序列处理功能。假设我们有一个包含股票价格的时间序列数据。
import pandas as pd
dates = pd.date_range('20230101', periods=10)
prices = [100, 105, 98, 110, 108, 115, 120, 118, 125, 122]
df = pd.DataFrame({
'Date': dates, 'Price': prices})
# 计算移动平均值
df['Moving_Average_7'] = df['Price'].rolling(window=7).mean()
通过这些案例，我们可以看到 Pandas 和 NumPy 在数据分析中的强大作用。它们的高级技巧能够帮助我们更高效、更准确地处理和分析数据，从而为决策提供有力的支持。
不断探索和实践 Pandas 与 NumPy 的高级技巧，将使我们在数据分析的道路上越走越远，解锁更多的数据洞察和价值。
