数据清洗是数据预处理的重要步骤，它涉及检查数据质量，处理无效值和缺失值等。在Python中，我们可以使用多种库来进行数据清洗，如pandas, numpy, scikit-learn等。
以下是一些常见的数据清洗步骤和如何在Python中执行它们：
导入库
python
import pandas as pd
import numpy as np
读取数据
python
df = pd.read_csv('your_data.csv')
检查缺失值
python
print(df.isnull().sum())
处理缺失值
删除含有缺失值的行或列
python`df.dropna(subset=['column_name'], inplace=True)`
用特定值（如0、平均值、中位数、众数等）填充缺失值
python`df['column_name'].fillna(0, inplace=True)
df['column_name'].fillna(df['column_name'].mean(), inplace=True)`
删除重复行
python
df.drop_duplicates(inplace=True)
处理异常值
使用IQR（四分位距）方法识别和处理异常值
python`Q1 = df['column_name'].quantile(0.25)
Q3 = df['column_name'].quantile(0.75)
IQR = Q3 - Q1
df = df[(df['column_name'] >= Q1 - 1.5 * IQR) & (df['column_name'] <= Q3 + 1.5 * IQR)]`
数据转换
标准化
python`from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df['column_name'] = scaler.fit_transform(df['column_name'].values.reshape(-1,1))`
归一化
python`from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
df['column_name'] = scaler.fit_transform(df['column_name'].values.reshape(-1,1))`
处理文本数据
去除文本中的HTML标签
python`import re
df['text_column'] = df['text_column'].apply(lambda x: re.sub('<.*?>', '', x))`
文本转换为小写
python`df['text_column'] = df['text_column'].str.lower()`
删除文本中的标点符号
python`df['text_column'] = df['text_column'].apply(lambda x: x.translate(str.maketrans('', '', string.punctuation)))`
以上只是一些常见的数据清洗步骤。实际的数据清洗工作可能会根据数据的性质和需求有所不同。重要的是理解数据的来源和结构，以便有效地清洗和预处理数据。
