在机器学习项目中，数据预处理是至关重要的一步，它直接影响到模型的性能和准确性。Scikit-learn（简称sklearn）作为Python中最受欢迎的机器学习库之一，提供了丰富的数据预处理工具。本文将深入探讨sklearn中的数据清洗与标准化技术，并通过实战代码示例展示如何应用这些技术提升模型效果。
1. 数据清洗：去除杂质，保留精华
数据清洗涉及识别并纠正数据集中的错误、不完整、不准确或无关的部分。sklearn提供了多种工具来帮助我们完成这项任务。
缺失值处理
from sklearn.impute import SimpleImputer
# 假设df是我们的DataFrame，'Age'列包含缺失值
imputer = SimpleImputer(strategy='mean') # 使用均值填充
df['Age'] = imputer.fit_transform(df[['Age']])
异常值处理
对于异常值，可以通过统计方法识别，如Z-score或IQR方法。虽然sklearn没有直接提供异常值处理函数，但可以利用其统计模块间接实现。
from scipy import stats
# 假设df['Age']是我们需要处理的列
z_scores = stats.zscore(df['Age'])
abs_z_scores = np.abs(z_scores)
filtered_entries = (abs_z_scores < 3).all(axis=1)
df = df[filtered_entries]
2. 数据标准化：为模型铺平道路
数据标准化是将特征缩放到同一尺度上的过程，这对于许多机器学习算法（尤其是基于距离的算法）至关重要。
最小最大缩放
from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
df_scaled = scaler.fit_transform(df[['Age', 'Income', 'Education']])
标准化（Z-score标准化）
标准化将特征转换为具有平均值0和标准差1的数据分布。
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df_standardized = scaler.fit_transform(df[['Age', 'Income']])
RobustScaler：对异常值不敏感
对于含有大量异常值的数据，使用RobustScaler是一个好选择，因为它基于中位数和四分位距进行缩放。
from sklearn.preprocessing import RobustScaler
scaler = RobustScaler()
df_robust_scaled = scaler.fit_transform(df[['Age', 'Income']])
实战案例：信用评分预测
假设我们正在构建一个信用评分预测模型，首先我们需要加载数据并进行预处理。
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score
# 加载数据
credit_data = pd.read_csv('credit_data.csv')
# 数据清洗
imputer = SimpleImputer(strategy='median')
credit_data[['Age', 'Annual_Income', 'Years_in_job']] = imputer.fit_transform(credit_data[['Age', 'Annual_Income', 'Years_in_job']])
# 异常值处理（这里简化处理，实际应更细致分析）
credit_data = credit_data[(credit_data['Annual_Income'] > credit_data['Annual_Income'].quantile(0.01)) &
(credit_data['Annual_Income'] < credit_data['Annual_Income'].quantile(0.99))]
# 特征选择
features = ['Age', 'Annual_Income', 'Years_in_job']
X = credit_data[features]
y = credit_data['Credit_Rating']
# 数据标准化
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)
# 训练模型
model = LogisticRegression()
model.fit(X_train, y_train)
# 预测并评估
predictions = model.predict(X_test)
print("Accuracy:", accuracy_score(y_test, predictions))
通过上述实战案例，我们不仅展示了如何使用sklearn进行数据清洗与标准化，还强调了这些步骤对于提高模型预测能力的重要性。正确的数据预处理能够显著提升模型的性能，因此在任何机器学习项目中都是不可或缺的一环。
