在Python中进行数据清洗和预处理

在Python中进行数据清洗和预处理是数据分析与机器学习项目中的关键步骤，Pandas库提供了丰富的功能来进行这项工作。以下是一些基本的数据清洗与预处理操作的示例：

1. 加载数据：
   首先需要导入pandas库并读取数据，通常是从CSV、Excel或其他文件格式中读取。

   import pandas as pd
   
   df = pd.read_csv('data.csv')  # 从CSV文件读取数据
   

2. 查看数据概况：
   使用.head()或.tail()快速查看数据前几行或后几行，使用.info()检查数据结构和非空值信息。

   df.head()  # 查看前5行数据
   df.info()  # 显示数据框基本信息，包括列名、非空值数量等
   

3. 缺失值处理：

   • 检查缺失值：df.isnull().sum()查看每列缺失值总数。
   • 删除含有缺失值的行：df.dropna(inplace=True)。
   • 填充缺失值：可以使用均值、中位数或其他统计量填充，如 df['column_name'].fillna(df['column_name'].mean(), inplace=True)。

4. 数据类型转换：
   确保数据类型正确，比如将字符串转换为日期或数字。

   df['date_column'] = pd.to_datetime(df['date_column'])  # 将字符串转为日期
   df['numeric_column'] = pd.to_numeric(df['numeric_column'], errors='coerce')  # 强制转换为数字，无法转换的设为NaN
   

5. 异常值处理：
   可以通过条件筛选来去除异常值，例如：

   df = df[(df['column_name'] > lower_bound) & (df['column_name'] < upper_bound)]
   

6. 数据标准化/归一化：
   如果要进行数值特征缩放，可以使用scikit-learn库中的StandardScaler或MinMaxScaler等方法。

   from sklearn.preprocessing import StandardScaler
   
   scaler = StandardScaler()
   df['scaled_column'] = scaler.fit_transform(df[['column_to_scale']])
   

7. 编码分类变量：
   对于类别变量，可能需要进行独热编码（one-hot encoding）或标签编码（label encoding）。

   df_encoded = pd.get_dummies(df, columns=['categorical_column'])  # 独热编码
   

8. 数据聚合与重塑：
   使用groupby、pivot_table等函数对数据进行汇总或重塑。

   grouped = df.groupby('category').agg({
        'value': 'sum'})  # 数据分组求和
   pivoted = df.pivot_table(index='category', columns='subcategory', values='value')  # 数据透视表
   

9. 文本清洗：
   对于文本数据，可能需要去除标点符号、停用词，并进行词干提取或词形还原等。

以上只是基础的处理流程，在实际应用中，根据具体问题可能会有更复杂的数据清洗和预处理需求。