技巧 | 一个相见恨晚的python数据分析库,一键生成超详细数据分析报告

简介: 技巧 | 一个相见恨晚的python数据分析库,一键生成超详细数据分析报告

本期导读

大家好,我是欧K。

今天给大家安利一个python数据分析库【pandas_profiling】。

不用不知道,一用吓一跳,赶快来看看吧。


我们在进行数据分析,尤其是探索性分析时,往往需要根据数据的总体概况建立相关模型进行分析,pandas_profiling这个库可以一键生成数据分析报告,我们可以快速查看所有数据的分布以及各参数之间的相关性信息,给后期分析带来了极大的便利。


1. pandas_profiling安装

pip install pandas-profiling

注意:‘-’在中间,而非下划线。


2. pandas_profiling使用

以波士顿房价预测为例(经典数据集:鸢尾花分类数据集、波士顿房价预测数据集、泰坦尼克号生存分析数据集):2.1 数据分析一般流程

  • 需求分析
  • 获取数据
  • 数据预处理
  • 划分数据集(特征值抽取)
  • 特征工程
  • 建模
  • 模型评估与优化


2.2 pandas分析数据概况

导入数据集“boston.csv” ,使用data.head()查看前五行数据:

使用data.describe()查看整个数据集概况:

数据包括:

  • 数据集行数
  • 列平均值
  • 列标准差
  • 最小值、最大值
  • 分位数


2.3 pandas_profiling分析数据概况

一行语句即可data.profile_report():

一共包括6项数据:

  • Overview:数据概况
  • Variables:各变量分布情况
  • Interactions:变量间相关性
  • Correlations:相关性热力图
  • Missing values:缺失值
  • Sample:数据集部分示例


部分信息如下:

Overview

Variables

Interactions

Correlations

Missing values

Sample


2.4 导出html文件

执行语句profile.to_file():

html文件链接: https://pan.baidu.com/s/1rcolHhlFbhLKtPiiMK0m4g 提取码: b252

总 结

pandas_profiling作为pandas功能的扩展,可以快速生成详细的数据分析报告,非常适合处理数据探索分析的前期准备工作,对不太熟悉数据分析(尤其是特征抽取)的小伙伴是一个非常好用的工具。

END


以上就是本期为大家整理的全部内容了,赶快练习起来吧,喜欢的朋友可以点赞、点在看也可以分享到朋友圈让更多人知道哦


相关文章
|
17天前
|
机器学习/深度学习 数据可视化 数据挖掘
使用Python进行数据分析的入门指南
本文将引导读者了解如何使用Python进行数据分析,从安装必要的库到执行基础的数据操作和可视化。通过本文的学习,你将能够开始自己的数据分析之旅,并掌握如何利用Python来揭示数据背后的故事。
|
6天前
|
XML JSON 数据库
Python的标准库
Python的标准库
117 77
|
20天前
|
机器学习/深度学习 算法 数据挖掘
数据分析的 10 个最佳 Python 库
数据分析的 10 个最佳 Python 库
60 4
数据分析的 10 个最佳 Python 库
|
7天前
|
XML JSON 数据库
Python的标准库
Python的标准库
33 11
|
20天前
|
人工智能 API 开发工具
aisuite:吴恩达发布开源Python库,一个接口调用多个大模型
吴恩达发布的开源Python库aisuite,提供了一个统一的接口来调用多个大型语言模型(LLM)服务。支持包括OpenAI、Anthropic、Azure等在内的11个模型平台,简化了多模型管理和测试的工作,促进了人工智能技术的应用和发展。
80 1
aisuite:吴恩达发布开源Python库,一个接口调用多个大模型
|
7天前
|
数据可视化 Python
以下是一些常用的图表类型及其Python代码示例,使用Matplotlib和Seaborn库。
通过这些思维导图和分析说明表,您可以更直观地理解和选择适合的数据可视化图表类型,帮助更有效地展示和分析数据。
45 8
|
15天前
|
安全 API 文件存储
Yagmail邮件发送库:如何用Python实现自动化邮件营销?
本文详细介绍了如何使用Yagmail库实现自动化邮件营销。Yagmail是一个简洁强大的Python库,能简化邮件发送流程,支持文本、HTML邮件及附件发送,适用于数字营销场景。文章涵盖了Yagmail的基本使用、高级功能、案例分析及最佳实践,帮助读者轻松上手。
27 4
|
24天前
|
存储 数据可视化 数据挖掘
使用Python进行数据分析和可视化
本文将引导你理解如何使用Python进行数据分析和可视化。我们将从基础的数据结构开始,逐步深入到数据处理和分析的方法,最后通过实际的代码示例来展示如何创建直观的数据可视化。无论你是初学者还是有经验的开发者,这篇文章都将为你提供有价值的见解和技巧。让我们一起探索数据的世界,发现隐藏在数字背后的故事!
|
21天前
|
存储 数据可视化 数据挖掘
Python数据分析项目:抖音短视频达人粉丝增长趋势
Python数据分析项目:抖音短视频达人粉丝增长趋势
|
26天前
|
数据采集 存储 数据可视化
Python数据分析:揭秘"黑神话:悟空"Steam用户评论趋势
Python数据分析:揭秘"黑神话:悟空"Steam用户评论趋势