别再野蛮操作了！用Python优雅地搞定数据清洗
在大数据圈子里，流传着这样一句话：“80%的时间花在数据清洗，20%的时间花在抱怨数据太脏。”
这话不夸张，干过数据分析、建模、挖掘的人都知道，数据清洗才是真正考验耐心和技术的地方。
今天，咱们就用接地气的方式，聊聊怎么用Python，优雅又高效地搞定数据清洗，而不是一边ctrl+c/v，一边心态爆炸。
一、为啥数据清洗这么重要？
如果把数据比作食材，数据清洗就是洗菜、择菜、去泥巴的过程。
数据脏了，模型再牛，分析再花哨，出来的结果也没法吃。
常见的数据脏点包括：
- 缺失值
- 异常值
- 重复数据
- 格式不统一
- 文本脏乱（奇葩符号、乱码）
- 类型混乱（数字里藏着字符串）
现实里，数据的“脏”程度，远比你想象得惨烈。
二、Python清洗数据，主力军：pandas + numpy
要搞数据清洗，最核心的武器是：
pandas：开箱即用的神器，适合表格型数据。numpy：打底工具，数组操作快准狠。
顺便一提，千万别死磕for循环搞清洗，那是体力活，要用向量化操作才能快准狠。
先来个开场白：
import pandas as pd
import numpy as np
# 造一份脏数据
data = {
'name': ['Alice', 'Bob', np.nan, 'David', 'Eve', 'Alice '],
'age': [25, np.nan, 35, 40, 22, 25],
'salary': ['50000', '60000', 'seven thousand', '80000', '90000', '50000'],
'date_joined': ['2021-01-01', '2021-02-15', 'unknown', '2021-03-10', '2021-04-01', '2021-01-01']
}
df = pd.DataFrame(data)
print(df)
生成的数据大概长这样：
| name | age | salary | date_joined |
|---|---|---|---|
| Alice | 25.0 | 50000 | 2021-01-01 |
| Bob | NaN | 60000 | 2021-02-15 |
| NaN | 35.0 | seven thousand | unknown |
| David | 40.0 | 80000 | 2021-03-10 |
| Eve | 22.0 | 90000 | 2021-04-01 |
| Alice | 25.0 | 50000 | 2021-01-01 |
一眼望去，问题一堆：
- 缺失名字、年龄
- 工资字段混入了文本
- 入职日期有个
unknown Alice结尾带空格，可能导致重复
不清洗，分析个锤子。
三、实战拆招：逐一搞定这些脏东西
1. 缺失值处理（nan）
办法很多，常见的有：
- 删除
- 填补（均值、中位数、指定值）
示例：
# 删除有缺失的行
df = df.dropna(subset=['name', 'age'])
# 对缺失的'age'填充中位数（如果不想丢数据）
# median_age = df['age'].median()
# df['age'] = df['age'].fillna(median_age)
2. 字符串清理（空格、大小写、乱码）
去除名字字段的空格和统一大小写：
df['name'] = df['name'].str.strip().str.title()
这样，"Alice " 和 "alice" 也会被标准化为"Alice"。
3. 异常值处理（文本夹数字）
工资字段本来是数字，结果混进了"seven thousand"。
怎么救？强制转换，非法的直接设为NaN：
df['salary'] = pd.to_numeric(df['salary'], errors='coerce')
errors='coerce' 的意思是：遇到鬼数据别报错，直接给我转成NaN。
再补个均值：
mean_salary = df['salary'].mean()
df['salary'] = df['salary'].fillna(mean_salary)
4. 日期字段标准化
入职日期有"unknown"？直接转格式，错误的处理成NaT（缺失日期）。
df['date_joined'] = pd.to_datetime(df['date_joined'], errors='coerce')
5. 去重
最后别忘了，名字、年龄、工资、入职时间都一样的，很可能是重复记录，删了。
df = df.drop_duplicates()
四、小结一下：清洗套路总结
数据清洗，其实就三个动作：
- 找问题：缺啥？乱啥？多啥？少啥？
- 动手术：删？补？统一格式？拉到同一标准？
- 再验收：眼神要毒，数据清洗也要回头看一眼。
而且记住，用pandas一行搞定的，绝不写for循环自虐。
五、现实比演示复杂得多
别小看这点清洗流程，真实业务场景，脏数据比这复杂得多。举几个常见的坑：
- 多国语言编码错乱
- 假数据混在真数据里
- 时间戳格式千奇百怪
- 各种隐藏符号（比如
\u200b零宽空格）
所以清洗数据，不光是技术活，也是“阅脏无数”的经验活。见得多了，你自然知道该怎么优雅应对。
六、最后叨叨几句
- 千万别觉得数据清洗low，清洗的好坏直接决定了分析和建模的上限。
- 数据工程师、数据分析师、算法工程师，最根本的功夫其实都是在看谁更懂数据底层结构。
- 不要光盯着炫酷算法，先把数据喂干净再说，否则Garbage In, Garbage Out，永远跳不出泥潭。
真正厉害的人，连清洗数据都是优雅的。
