【Python】—— pandas 数据分析

简介: 【Python】—— pandas 数据分析

相关知识了解

当涉及到数据分析时,Pandas 提供了许多功能,使得数据清理、探索性数据分析(EDA)、统计分析和可视化变得更加容易。以下是一些主要关于数据分析的 Pandas 功能:

1. 数据清理

  • 处理缺失值:
# 删除包含缺失值的行
df.dropna(inplace=True)
# 填充缺失值
df.fillna(value, inplace=True)
  • 删除重复值:
df.drop_duplicates(inplace=True)

2. 探索性数据分析(EDA)

  • 基本统计信息:
# 描述性统计信息
df.describe()
# 单独计算均值、中位数等
df.mean()
  • 数据分布可视化:
import matplotlib.pyplot as plt
# 直方图
df['Column1'].hist()
# 箱线图
df.boxplot(column='Column1')

3. 数据过滤和选择

  • 条件过滤:
selected_data = df[df['Column1'] > 2]
  • 按列选择:
df['Column1']

4. 数据分组和聚合

  • 按列分组:
grouped_data = df.groupby('Column2')['Column1'].mean()
  • 多列分组和多个聚合函数:
grouped_data = df.groupby(['Column2', 'Column3']).agg({'Column1': 'mean', 'Column4': 'sum'})

5. 数据合并和连接

  • 合并两个 DataFrame:
merged_df = pd.merge(df1, df2, on='common_column', how='inner')
  • 连接操作:
concatenated_df = pd.concat([df1, df2], axis=0)

6. 时间序列分析

  • 处理日期数据:
df['Date'] = pd.to_datetime(df['Date'])
  • 时间序列分析:
df.resample('M').mean()  # 按月重采样并计算均值

7. 统计分析

  • 相关性分析:
correlation_matrix = df.corr()
  • 假设检验:
from scipy.stats import ttest_ind
t_stat, p_value = ttest_ind(df_group1['Column1'], df_group2['Column1'])

这些只是 Pandas 提供的数据分析功能的一小部分。在实际应用中,通常需要根据具体的数据集和分析目标使用更多的方法和技巧。

接下来让我们一起学习与闯关吧!


第1关:了解数据集特征

任务描述

本关任务:载入网贷数据集,了解数据概况。

共包含多个子任务:

1.1 读取Training_Master.csv文件,命名为master

1.2 读取Training_Userupdate.csv文件,命名为user

1.3 读取Training_LogInfo.csv文件,命名为log

1.4 分别输出它们的形状;

1.5 输出包含master7个列名的列表;

1.6 输出user表的前3行。

知识讲解

为了完成本关任务,你需要掌握:

1.pandas模块导入

import pandas as pd

2.pandas模块下的数据文件读取方法

read_csv()
#返回DataFrame类型对象

若数据包含中文,需添加参数encoding='gbk'

3.了解数据集基本特征的方法。

DataFrame.shape    #DataFrame形状
DataFrame.head(n)  #DataFrame数据的前n行
DataFrame.columns  #DataFrame的列索引

编程要求

根据提示,在右侧编辑器补充代码。

运行代码

# -*- coding: utf-8 -*-
'''
第1关 : 了解数据集特征
'''
# 1.1 读取Training_Master.csv文件,命名为master;
master = pd.read_csv('Training_Master.csv', encoding='gbk')
# 1.2 读取Training_Userupdate.csv文件,命名为user;
user = pd.read_csv('Training_Userupdate.csv', encoding='gbk') 
# 1.3 读取Training_LogInfo.csv文件,命名为log;
log = pd.read_csv('Training_LogInfo.csv', encoding='gbk') 
# 1.4 分别输出它们的形状;
print(master .shape)
print(user .shape)
print(log.shape)
# 1.5 输出包含master后7个列名的列表;
a = [i for i in master.colums[-7:]]
print(a)
# 1.6 输出user表的前3行。
print(user.head(3))

第2关:DataFrame 的 CRUD

任务描述

本关任务:使用DataFrame结构深入了解数据集细节。

包含4个子任务:

2.1 查询master表的列名前缀;

2.2 删除master表的列;

2.3 在master表中增加列;

2.4 修改master表数据。

知识讲解

为了完成本关任务,你需要掌握:

获取DataFrame列名

DataFrame.columns返回DataFrame的列名Index对象

例如:

In [1]: log.columns
Out[1]: Index(['Idx', 'Listinginfo1', 'LogInfo1', 'LogInfo2', 'LogInfo3'], dtype='object')

字符串分割

str.split(分隔符) 返回字符串列表

例如:

In [2]:'SocialNetwork_12'.split('_')
Out[2]: ['SocialNetwork', '12']

删除DataFrame的列

根据索引名称(label)删除指定的行(axis = 0)或列(axis = 1),inplace指定是否删除原数据。

label可以是字符串,也可以是字符串列表。

DataFrame.drop(label,axis,inplace)

Series的广播操作

ndarray结构一样,Series结构也支持广播操作。

根据行列索引名称查询DataFrame

loc方法的参数很灵活,名称、名称列表、条件表达式均可,需根据实际情况灵活使用。条件表达式本质上仍是索引名列表。

DataFrame.loc[行索引名或条件表达式,列索引名或条件表达式]

编程要求

根据提示,补充代码。

运行代码

# -*- coding: utf-8 -*-
'''
第2关:DataFrame 的 CRUD
'''
import pandas as pd
master = pd.read_csv('Training_Master.csv', encoding='gbk')
user = pd.read_csv('Training_Userupdate.csv', encoding='gbk') 
log = pd.read_csv('Training_LogInfo.csv', encoding='gbk') 
# 2.1 查询master表的列名前缀列表,并按字母升序输出该列表;
# 例如:SocialNetwork_12列的列名前缀为:SocialNetwork
lc = list(master.colums)
lx = list()
for i in lc:
  x = i.split("_")
    if x[0] not in lx:
      lx.append(x[0])
lx.sort()
print(lx)
# 2.2 删除master表的列名前缀为:SocialNetwork的列;
# 输出:共**列被删除
count = 0
iy = list()
for ix in lc:
  x = ix.split("_")
  if x[0] = 'SocialNetwork':
    iy.append(ix)
    count=count+1
print('共{0}列被删除。'.format(count))
ma = master.drop(labels = iy,axis = 1)
# 2.3 在master表中最右侧增加一列Result,
# 记录 UserInfo_1和UserInfo_3的和,
# 并输出这三列的前5行
ma['Result'] = ma['UserInfo_1'] + ma['UserInfo_3']
mb = ma[['UserInfo_1','UserInfo_3','Result']].head(5)
print(mb)
# 2.4 将UserInfo_2列中所有的“深圳”替换为“中国深圳”,
# 并计算“中国深圳”的用户数
mc = master['UserInfo_2']
mc = mc.replace('深圳','中国深圳')
cou = 0
for i in mc:
  if i == '':
    cou = ou + 1
print(cou)

第3关:利用 pandas 实现数据统计分析

任务描述

本关任务:利用pandas进行数据统计分析。

本关共包含4个子任务:

3.1 用户来源地分析;

3.2 未登录用户分析;

3.3 用户活跃度分析;

3.4 用户活跃期分析。

具体任务内容详见代码注释。

知识讲解

为了完成本关任务,你需要掌握:

数据频数统计

Series.value_counts()
#返回Series类型数据,表达Series每个取值的出现次数。

简单数据统计

DataFrame.agg(np中的简单统计方法)
#按列统计,直接返回统计结果

时间字符串转换为时间类型数据

pd.to_datetime(Series或DataFrame)

取时间数据的星期名称

Timestamp.day_name()

数据分组

DataFrame.groupby(列索引)
#返回DataFrameGroupBy对象,
DataFrameGroupBy.nunique()
#分组对象的nunique方法直接返回每个分组中不重复值的个数。

编程要求

根据提示,补充代码。

运行代码

# -*- coding: utf-8 -*-
'''
 第3关:利用 pandas 实现数据统计分析
'''
import pandas as pd
import numpy as np
master = pd.read_csv('Training_Master.csv', encoding='gbk')
user = pd.read_csv('Training_Userupdate.csv', encoding='gbk') 
log = pd.read_csv('Training_LogInfo.csv', encoding='gbk') 
# 3.1 用户来源地分析;
#     在master表中用value_counts方法实现按用户所在地(UserInfo_2)统计用户数
#     并按照如下格式输出统计结果的前5项(其中为英文字符号)
#     城市:(用户数)
vacount=master['UserInfo_2'].value_counts()
va=vacount.head(5)
vb=va.index
for i in range(5):
  print('{}:({})'.format(vb[i],va[i]))
# 3.2 未登录用户分析;
#     结合master表和log表的内容,
#     求取从未登录的用户的数量,直接输出
ms=set(master['Idx'])
ls=set(log['Idx']
nologuser=ms-ls
print(len(nologuser))
# 3.3 用户活跃度分析;
#     求取信息更新(user表)次数最多的用户的最早登录时间(LogInfo3)
#     输出用户Idx,更新次数,最早登录时间
counts=user['Idx'].value_counts().head(1)
ci=counts.index
logtime=log[log['Idx']==ci[0]]['LogInfo3'].agg(np.min)
print(ci[0],counts.values[0],logtime)
# 3.4 用户活跃期分析。
#     给user表增加新列“weekday”,填入更新日期(UserupdateInfo2)相应的星期名称
#     用groupby和nunique方式实现
#     按星期名称统计用户更新人数(注意,是人数),并输出
user['weekday']=[i.day_name() for i in pd.to_datetime(user['UserupdateInfo2'])]
weekgroup=user[['Idx','weekday']].groupby('weekday')
weekcounts=weekgroup.nunique()['Idx']
print(weekcounts)


目录
相关文章
|
5天前
|
机器学习/深度学习 数据采集 数据挖掘
如何用Python进行数据分析?
【6月更文挑战第13天】如何用Python进行数据分析?
101 66
|
1天前
|
机器学习/深度学习 人工智能 算法框架/工具
Python赋能AI数据分析
Python赋能AI数据分析
10 0
|
1天前
|
存储 数据挖掘 索引
Python streamlit框架开发数据分析网站并免费部署
使用Python的Streamlit框架,开发了一个在线数据分析工具,替代Excel查看设备温度CSV数据。通过pandas读取数据,matplotlib绘制图表。程序处理CSV,提取所需列,计算最大最小平均值,用户可多选查看特定数据。[GitHub](https://github.com/yigedaigua/MGHB)上有完整代码,应用已部署至Streamlit Cloud。
|
1天前
|
数据挖掘 数据库连接 Python
GitHub高赞!Python零基础也能搞定的数据分析与处理
经常会有人让我推荐一些 Python 入门教程。虽然 Python 入内教程到处都有,但是这些教程要么太宽泛(没有讲任何关于数据分析的内容),要么太专业(全是关于科学原理的内容)。然而Excel用户往往处在一个中间位置:他们的确是和数据打交道,但是科学原理对于他们来说可能又太专业了。他们常常有一些现有教程无法满足的特殊需求,举例如下 • 为完成某个任务,我应该用哪个 Python-Excel包? • 我如何将 Power Query 数据库连接迁移到 Python? • Excel中的 AutoFilter和数据透视表在 Python 中对应的是什么?
|
2天前
|
数据采集 数据可视化 数据挖掘
数据挖掘实战:使用Python进行数据分析与可视化
在大数据时代,Python因其强大库支持和易学性成为数据挖掘的首选语言。本文通过一个电商销售数据案例,演示如何使用Python进行数据预处理(如处理缺失值)、分析(如销售额时间趋势)和可视化(如商品类别销售条形图),揭示数据背后的模式。安装`pandas`, `numpy`, `matplotlib`, `seaborn`后,可以按照提供的代码步骤,从读取CSV到数据探索,体验Python在数据分析中的威力。这只是数据科学的入门,更多高级技术等待发掘。【6月更文挑战第14天】
|
3天前
|
数据采集 机器学习/深度学习 数据可视化
数据挖掘实战:Python在金融数据分析中的应用案例
Python在金融数据分析中扮演关键角色,用于预测市场趋势和风险管理。本文通过案例展示了使用Python库(如pandas、numpy、matplotlib等)进行数据获取、清洗、分析和建立预测模型,例如计算苹果公司(AAPL)股票的简单移动平均线,以展示基本流程。此示例为更复杂的金融建模奠定了基础。【6月更文挑战第13天】
|
3天前
|
Python
在Python的pandas库中,向DataFrame添加新列简单易行
【6月更文挑战第15天】在Python的pandas库中,向DataFrame添加新列简单易行。可通过直接赋值、使用Series或apply方法实现。例如,直接赋值可将列表或Series对象分配给新列;使用Series可基于现有列计算生成新列;apply方法则允许应用自定义函数到每一行或列来创建新列。
35 8
|
6天前
|
数据采集 数据可视化 数据挖掘
数据分析大神养成记:Python+Pandas+Matplotlib助你飞跃!
【6月更文挑战第12天】在数字时代,Python因其强大的数据处理能力和易用性成为数据分析首选工具。结合Pandas(用于高效数据处理)和Matplotlib(用于数据可视化),能助你成为数据分析专家。Python处理数据预处理、分析和可视化,Pandas的DataFrame简化表格数据操作,Matplotlib则提供丰富图表展示数据。掌握这三个库,数据分析之路将更加畅通无阻。
|
7月前
|
数据可视化 数据挖掘 Python
【Python】数据分析:matplotlib折线图
【Python】数据分析:matplotlib折线图
69 0
|
9月前
|
机器学习/深度学习 数据采集 数据挖掘
Python 数据分析入门教程:Numpy、Pandas、Matplotlib和Scikit-Learn详解
Python 数据分析入门教程:Numpy、Pandas、Matplotlib和Scikit-Learn详解
165 0

热门文章

最新文章