Python骚操作:一行代码实现探索性数据分析

简介: Python骚操作:一行代码实现探索性数据分析

dataprep.eda


在使用数据前,我们首先要做的是观察数据,包括查看数据的类型、数据的范围、数据的分布等。dataprep.eda是个非常不错的工具,它可以帮你快速生成数据概览。dataprep.eda包含的一些智能特性:


  • 为每个 EDA 任务选择正确的图形来可视化数据
  • 列类型推断(数字型、类别型和日期时间型)
  • 选择合适的时间单位(用户也可以指定)
  • 对数量庞大的类型数据输出清晰的可视化方案(用户也可以指定)

dataprep安装


安装dataprep仅需要执行pip instal dataprep即可,由于依赖比较多,安装过程比较慢,需要耐心等待。


640.png


如果报错,多半是权限问题,可以在后面加上--user


640.png


实例


为了看到这一点的实际应用,我们将使用一个泰坦尼克数据集,我们从数据集的概述开始:

from dataprep.eda import *
import pandas as pd
train_df = pd.read_csv('titanic/train.csv')
train_df

640.png


一行代码实现数据集可视化探索


plot(train_df)


640.png

640.png


plot(df)显示每列的分布。对于分类列,它以蓝色显示条形图。对于数字列,它以灰色显示直方图。从图的输出,我们知道:


  • 所有列:有1个标签列和11个特征
  • 分类栏:幸存,PassengerId,Pclass,姓名,性别,票证,出发。
  • 数字列:年龄,SibSp,parch,票价。
  • 缺失值:从图形标题中,我们可以找到3列缺失值。即年龄(19.9%),机舱(77.1%),登机(0.2%)。
  • 标签余额:来自幸存者的分布,我们知道,正面和负面的训练实例并不太平衡。有38%的数据带有标签Survived = 1。当前,列类型(即分类或数字)基于输入数据框中的列类型。因此,如果某些列类型被错误地标识,则可以在数据框中更改其类型。例如,通过调用df [col] = df [col] .astype(“ object”),可以将col标识为分类列。
for col in ['Survived', 'Pclass']:
train_df[col] = train_df[col].astype("object")
plot(train_df
)

640.png


要了解缺失值,我们首先调用plot_missing(df)来查看缺失值。


plot_missing(train_df)


640.png


顶部是可选的,比如选择spectrum可以更具体的看出缺失情况


640.png


选择heatmap可以用热力图形式查看缺失情况


640.png


接下来,我们决定如何处理缺失值:如果要删除缺失特征,删除包含缺失值的行还是填充缺失值?我们首先分析它们是否与生存相关。如果它们是相关的,则我们可能不想删除该特征。我们通过调用plot(df,x,y)分析两列之间的相关性。这里就不展示了,大家可以探索一下,代码如下


for feature in ['Age', 'Cabin', 'Embarked']:
plot(train_df, feature, 'Survived')


现在,我们逐一确定了有用的特征,并删除了无用的特征。虽然每个特征都可用于预测Survived,但是当我们将它们一起考虑时,我们可能不想要相关特征。因此,我们首先进行身份相关的特征。这可以通过简单地调用plot_correlation(df)来完成。


640.png

相关文章
|
1月前
|
开发框架 数据建模 中间件
Python中的装饰器:简化代码,增强功能
在Python的世界里,装饰器是那些静悄悄的幕后英雄。它们不张扬,却能默默地为函数或类增添强大的功能。本文将带你了解装饰器的魅力所在,从基础概念到实际应用,我们一步步揭开装饰器的神秘面纱。准备好了吗?让我们开始这段简洁而富有启发性的旅程吧!
36 6
|
1月前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
本文将引导读者了解如何使用Python进行数据分析,从安装必要的库到执行基础的数据操作和可视化。通过本文的学习,你将能够开始自己的数据分析之旅,并掌握如何利用Python来揭示数据背后的故事。
|
5天前
|
Python
课程设计项目之基于Python实现围棋游戏代码
游戏进去默认为九路玩法,当然也可以选择十三路或是十九路玩法 使用pycharam打开项目,pip安装模块并引用,然后运行即可, 代码每行都有详细的注释,可以做课程设计或者毕业设计项目参考
50 33
|
6天前
|
JavaScript API C#
【Azure Developer】Python代码调用Graph API将外部用户添加到组,结果无效,也无错误信息
根据Graph API文档,在单个请求中将多个成员添加到组时,Python代码示例中的`members@odata.bind`被错误写为`members@odata_bind`,导致用户未成功添加。
31 10
|
2月前
|
机器学习/深度学习 算法 数据挖掘
数据分析的 10 个最佳 Python 库
数据分析的 10 个最佳 Python 库
102 4
数据分析的 10 个最佳 Python 库
|
25天前
|
数据可视化 Python
以下是一些常用的图表类型及其Python代码示例,使用Matplotlib和Seaborn库。
通过这些思维导图和分析说明表,您可以更直观地理解和选择适合的数据可视化图表类型,帮助更有效地展示和分析数据。
64 8
|
1月前
|
API Python
【Azure Developer】分享一段Python代码调用Graph API创建用户的示例
分享一段Python代码调用Graph API创建用户的示例
51 11
|
1月前
|
测试技术 Python
探索Python中的装饰器:简化代码,增强功能
在Python的世界中,装饰器是那些能够为我们的代码增添魔力的小精灵。它们不仅让代码看起来更加优雅,还能在不改变原有函数定义的情况下,增加额外的功能。本文将通过生动的例子和易于理解的语言,带你领略装饰器的奥秘,从基础概念到实际应用,一起开启Python装饰器的奇妙旅程。
41 11
|
30天前
|
Python
探索Python中的装饰器:简化代码,增强功能
在Python的世界里,装饰器就像是给函数穿上了一件神奇的外套,让它们拥有了超能力。本文将通过浅显易懂的语言和生动的比喻,带你了解装饰器的基本概念、使用方法以及它们如何让你的代码变得更加简洁高效。让我们一起揭开装饰器的神秘面纱,看看它是如何在不改变函数核心逻辑的情况下,为函数增添新功能的吧!
|
1月前
|
程序员 测试技术 数据安全/隐私保护
深入理解Python装饰器:提升代码重用与可读性
本文旨在为中高级Python开发者提供一份关于装饰器的深度解析。通过探讨装饰器的基本原理、类型以及在实际项目中的应用案例,帮助读者更好地理解并运用这一强大的语言特性。不同于常规摘要,本文将以一个实际的软件开发场景引入,逐步揭示装饰器如何优化代码结构,提高开发效率和代码质量。
48 6