Python数据清洗:用优雅的方式处理缺失值

简介: Python数据清洗:用优雅的方式处理缺失值

Python数据清洗:用优雅的方式处理缺失值

在实际数据工作中,遇到缺失值是家常便饭。许多新手习惯用简单的删除或零值填充,但这往往会导致信息损失或偏差。今天分享几种更优雅的Python解决方案。

传统方法的局限性

# 常见但不推荐的做法
df.dropna()  # 直接删除缺失行
df.fillna(0)  # 用零填充所有缺失

这些方法简单粗暴,可能破坏数据分布或引入偏差。

更智能的填充策略

Pandas提供了多种情境化填充方式:

import pandas as pd
import numpy as np

# 前向/后向填充(时间序列数据)
df.fillna(method='ffill')  # 用前一个有效值填充
df.fillna(method='bfill')  # 用后一个有效值填充

# 分列差异化处理
df['数值列'] = df['数值列'].fillna(df['数值列'].median())
df['类别列'] = df['类别列'].fillna(df['类别列'].mode()[0])

使用Scikit-learn的智能填充

对于复杂场景,SimpleImputer提供了更多选项:

from sklearn.impute import SimpleImputer

# 均值填充
imputer = SimpleImputer(strategy='mean')
numeric_data = imputer.fit_transform(df.select_dtypes(include=[np.number]))

高级技巧:标记缺失值

有时保留缺失信息本身很重要:

df['列名_缺失'] = df['列名'].isna().astype(int)

结语

处理缺失值没有一成不变的方案,关键是根据数据特性和业务场景选择合适的方法。建议始终记录数据处理步骤,并在模型评估时考虑缺失值处理对结果的影响。

小提示:处理前,先用df.isna().sum()了解各列缺失情况,制定针对性策略。

下次面对缺失数据时,不妨试试这些更精细的方法,让你的数据分析更加稳健可靠。

目录
相关文章
|
9月前
|
存储 机器学习/深度学习 PyTorch
大模型训练显存优化实战指南:如何用有限显卡炼出“大丹”
本文是大模型显存优化实战指南,揭秘训练中80%显存消耗源于优化器状态。作者maoku系统梳理九大关键技术:混合精度、梯度检查点、ZeRO分片、算子融合等,助你用2–4张A100(而非8–16张)高效训练7B模型,成本直降75%,让中小企业与个人研究者也能“炼出大丹”。
|
10月前
|
XML 前端开发 Serverless
自建一个 Agent 很难吗?一语道破,万语难明
本文分享了在奥德赛TQL研发平台中集成BFF Agent的完整实践:基于LangGraph构建状态图,采用Iframe嵌入、Faas托管与Next.js+React框架;通过XML提示词优化、结构化知识库(RAG+DeepWiki)、工具链白名单及上下文压缩(保留近3轮对话)等策略,显著提升TQL脚本生成质量与稳定性。
1678 33
自建一个 Agent 很难吗?一语道破,万语难明
|
5月前
|
Web App开发 存储 Linux
旧手机如何组建集群,跑点云计算?
UC San Diego 与 Google 合作推进“手机集群计算”:拆解退役手机主板,组建低碳小型计算集群。首期将部署 2000 台 Pixel 手机主板,替代传统服务器,为教学科研提供低成本云资源,兼顾环保与算力复用。
496 1
旧手机如何组建集群,跑点云计算?
|
9月前
|
数据处理 开发者 Python
Python 3.12 新特性解读:用 Subinterpreters 突破 GIL 限制
Python 3.12 新特性解读:用 Subinterpreters 突破 GIL 限制
639 137
|
10月前
|
机器学习/深度学习 人工智能 自然语言处理
模型训练篇|多阶段ToolRL打造更可靠的AI导购助手
芝麻租赁推出AI导购“租赁小不懂”,针对长周期、重决策租赁场景,首创“One-Model + Tool-Use”架构与两阶段强化学习,攻克需求难匹配、决策效率低、服务被动三大痛点,实现响应提速78%、推荐成功率提升14.93%,打造贴切、沉浸、信任的场景化租赁体验。(239字)
805 25
模型训练篇|多阶段ToolRL打造更可靠的AI导购助手
|
10月前
|
人工智能 关系型数据库 Serverless
2 天,用函数计算 AgentRun 爆改一副赛博朋克眼镜
2 天将吃灰的 Meta 眼镜改造成“交警Copilot”:通过阿里云函数计算 AgentRun 实现端-管-云协同,利用 Prompt 驱动交通规则判断,结合 OCR 与数据库查询,打造可动态扩展的智能执法原型,展现 Agent 架构在真实场景中的灵活与高效。
792 45
|
9月前
|
存储 前端开发 JavaScript
log-lottery:不只是炫酷的3D抽奖,更是学习前端开发的最佳实践
年关将至,年会抽奖如何玩出新意?log-lottery 开源项目将传统抽奖升级为炫酷的3D球体视觉盛宴,更是一款融合 Vue3、Three.js、IndexedDB 等前沿技术的完整学习案例。它不仅支持奖品人员管理、界面定制与音乐配置,还提供在线体验、本地部署与 Docker 容器化等多种使用方式。无论是打造现场亮点,还是深入学习现代前端工程实践,这个项目都能为你带来惊喜与收获。
761 4
log-lottery:不只是炫酷的3D抽奖,更是学习前端开发的最佳实践
|
9月前
|
人工智能 数据可视化 API
Daggr:介于 Gradio 和 ComfyUI 之间的 AI 工作流可视化方案
Daggr 是一款代码优先的 Python 库,专为调试复杂 AI 工作流而生。它将 Python 定义的 Gradio/模型调用等节点自动转为可交互可视化图,支持实时查看中间状态、单独重跑节点、追溯历史输入输出,告别 print 调试与状态迷失。
513 2
Daggr:介于 Gradio 和 ComfyUI 之间的 AI 工作流可视化方案
|
9月前
|
运维 监控 安全
eBPF 真不是玄学:Cilium 把运维从“猜问题”拉到了“看问题”
eBPF 真不是玄学:Cilium 把运维从“猜问题”拉到了“看问题”
452 6