Python 教程之数据分析(2)—— 探索性数据分析

简介: Python 教程之数据分析(2)—— 探索性数据分析

什么是探索性数据分析(EDA)?


EDA 是数据分析下的一种现象,用于更好地理解数据方面,例如:

– 数据的主要特征

– 变量和它们之间的关系

– 确定哪些变量对我们的问题很重要

我们将研究各种探索性数据分析方法,例如:

  • 描述性统计,这是一种简要概述我们正在处理的数据集的方法,包括样本的一些度量和特征
  • 分组数据 [使用group by 进行基本分组]
  • ANOVA,方差分析,这是一种计算方法,可将观察集中的变化划分为不同的分量。
  • 相关和相关方法

我们将使用的数据集是子投票数据集,您可以在 python 中将其导入为:

import pandas as pd
Df = pd.read_csv("https://vincentarelbundock.github.io / Rdatasets / csv / car / Child.csv")

描述性统计

描述性统计是了解数据特征和快速总结数据的有用方法。python 中的 Pandas 提供了一个有趣的方法describe() 。describe 函数对数据集应用基本统计计算,如极值、数据点计数标准差等。任何缺失值或 NaN 值都会被自动跳过。describe() 函数很好地描绘了数据的分布情况。

DF.describe()

这是您在运行上述代码时将获得的输出:

image.png

另一种有用的方法是 value_counts(),它可以获取分类属性值系列中每个类别的计数。例如,假设您正在处理一个客户数据集,这些客户在列名 age 下分为青年、中年和老年类别,并且您的数据框是“DF”。您可以运行此语句以了解有多少人属于各个类别。在我们的数据集示例中可以使用教育列 \

import pandas as pd
import matplotlib.pyplot as plt
DF = pd.read_csv("https://raw.githubusercontent.com / fivethirtyeight / data / master / airline-safety / airline-safety.csv")
y = list(DF.population)
plt.boxplot(y)
plt.show()

发现异常值后,输出图将如下所示:

image.png

分组数据


Group by 是 pandas 中可用的一个有趣的度量,它可以帮助我们找出不同分类属性对其他数据变量的影响。让我们看一个在同一数据集上的示例,我们想找出人们的年龄和教育对投票数据集的影响。

DF.groupby(['education', 'vote']).mean()

输出会有点像这样:

image.png

如果按输出表进行分组难以理解,则进一步的分析师使用数据透视表和热图对其进行可视化。


方差分析

ANOVA 代表方差分析。执行它是为了找出不同类别数据组之间的关系。

在 ANOVA 下,我们有两个测量结果:

– F-testscore:显示组均值相对于变化的变化

– p 值:显示结果的重要性

这可以使用 python 模块 scipy 方法名称f_oneway() \

这些样本是每组的样本测量值。

作为结论,如果 ANOVA 检验给我们一个大的 F 检验值和一个小的 p 值,我们可以说其他变量和分类变量之间存在很强的相关性。


相关性和相关性计算


相关性是上下文中两个变量之间的简单关系,使得一个变量影响另一个变量。相关性不同于引起的行为。计算变量之间相关性的一种方法是找到 Pearson 相关性。在这里,我们找到两个参数,即皮尔逊系

数和 p 值。当 Pearson 相关系数接近 1 或 -1 且 p 值小于 0.0001 时,我们可以说两个变量之间存在很强的相关性。

Scipy 模块还提供了一种执行 pearson 相关性分析的方法,


这里的示例是您要比较的属性。

这是python中EDA的简要概述,我们可以做更多!快乐挖掘!


感谢大家的阅读,有什么问题的话可以在评论中告诉我。希望大家能够给我来个点赞+收藏+评论 ,你的支持是海海更新的动力!后面我会持续分享前端 & 后端相关的专业知识。



目录
相关文章
|
4天前
|
机器学习/深度学习 数据采集 算法
Python用逻辑回归、决策树、SVM、XGBoost 算法机器学习预测用户信贷行为数据分析报告
Python用逻辑回归、决策树、SVM、XGBoost 算法机器学习预测用户信贷行为数据分析报告
13 1
|
2天前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习专栏】金融数据分析中的机器学习应用
【4月更文挑战第30天】本文探讨了机器学习在金融数据分析中的应用,如股价预测、信用评分、欺诈检测、算法交易和风险管理,并以Python为例展示了如何进行股价预测。通过使用机器学习模型,金融机构能更准确地评估风险、识别欺诈行为并优化交易策略。Python结合scikit-learn库简化了数据分析过程,助力金融从业者提高决策效率。随着技术发展,机器学习在金融领域的影响力将持续增强。
|
3天前
|
数据采集 SQL 数据挖掘
Python数据分析中的Pandas库应用指南
在数据科学和分析领域,Python语言已经成为了一种非常流行的工具。本文将介绍Python中的Pandas库,该库提供了强大的数据结构和数据分析工具,使得数据处理变得更加简单高效。通过详细的示例和应用指南,读者将了解到如何使用Pandas库进行数据加载、清洗、转换和分析,从而提升数据处理的效率和准确性。
|
3天前
|
机器学习/深度学习 数据采集 数据可视化
Python在数据分析领域的应用研究
Python在数据分析领域的应用研究
9 0
|
3天前
|
Linux Python Windows
Python更换国内pip源详细教程
Python更换国内pip源详细教程
|
4天前
|
Linux Python Windows
Python虚拟环境virtualenv安装保姆级教程(Windows和linux)
Python虚拟环境virtualenv安装保姆级教程(Windows和linux)
|
6天前
|
机器学习/深度学习 数据可视化 数据挖掘
PYTHON链家租房数据分析:岭回归、LASSO、随机森林、XGBOOST、KERAS神经网络、KMEANS聚类、地理可视化
PYTHON链家租房数据分析:岭回归、LASSO、随机森林、XGBOOST、KERAS神经网络、KMEANS聚类、地理可视化
11 0
|
8天前
|
数据采集 数据可视化 数据挖掘
R语言与Python:比较两种数据分析工具
【4月更文挑战第25天】R语言和Python是目前最流行的两种数据分析工具。本文将对这两种工具进行比较,包括它们的历史、特点、应用场景、社区支持、学习资源、性能等方面,以帮助读者更好地了解和选择适合自己的数据分析工具。
|
13天前
|
数据挖掘 数据处理 索引
Python数据分析面试:NumPy基础与应用
【4月更文挑战第16天】了解并熟练运用NumPy是衡量Python数据分析能力的关键。本文探讨了面试中常遇到的NumPy问题,包括数组创建、属性、索引切片、数组运算、统计函数以及重塑和拼接,并提供了相关代码示例。同时强调了易错点,如混淆Python列表与NumPy数组、误解广播规则等,提醒在数据处理中注意性能和内存效率。掌握这些知识点将有助于提升数据分析面试表现和技能。
29 5
|
14天前
|
机器学习/深度学习 数据可视化 数据挖掘
python数据分析工具StatsModels
【4月更文挑战第15天】`StatsModels`是Python的统计库,基于NumPy和SciPy,提供线性模型、广义线性模型、稳健回归、时间序列分析等多样功能。支持离散选择模型、方差分析和非参数统计,还包含图形和可视化工具。安装`StatsModels`可使用`pip install statsmodels`。示例展示了如何进行普通最小二乘回归并绘制回归线。该库适用于数据分析和预测建模。
17 1