在Python中进行数据清洗和预处理缺失值处理缺失数据剔除

在Python中进行数据清洗和预处理时，处理缺失值是常见任务之一。以下是如何使用pandas库来剔除缺失值（NaN）的基本方法：

方法一：直接删除包含缺失值的行

如果你想从数据集中完全移除任何含有缺失值的记录，可以使用dropna()函数：

import pandas as pd

# 假设df是你的DataFrame
df = pd.DataFrame({
   
    'column1': [1, 2, np.nan],
    'column2': [4, np.nan, 6],
    'column3': [7, 8, 9]
})

# 删除任何含有NaN的行
df_cleaned = df.dropna()

# 如果你想只删除含有NaN的列，可以指定axis=1
df_cleaned_columns = df.dropna(axis=1)

方法二：按列删除缺失值

如果你只想删除那些缺失值超过一定比例的列，可以结合阈值参数thresh：

# 确定一个最少非缺失值的个数阈值，例如至少有2个非缺失值
t = len(df) - int(0.2 * len(df))  # 这里是保留80%以上的非空行

# 删除满足条件的列
df_cleaned_columns_by_threshold = df.dropna(thresh=t, axis=1)

方法三：填充缺失值而不是删除

如果你不希望删除数据而是选择填充缺失值，可以使用fillna()函数：

# 使用特定值填充缺失值，比如用0填充
df_filled = df.fillna(0)

# 或者使用前一个或后一个非缺失值填充（向前/向后填充）
df_filled_forward = df.fillna(method='ffill')
df_filled_backward = df.fillna(method='bfill')

# 也可以根据每个列的统计特性填充，如均值、中位数或众数
df_filled_mean = df.fillna(df.mean())  # 填充各列平均值
df_filled_median = df.fillna(df.median())  # 填充各列中位数

选择哪种方法取决于你的具体需求以及缺失值出现的情况，通常需要结合业务背景和分析目标来决定最佳策略。