相关知识了解
当涉及到数据分析时，Pandas 提供了许多功能，使得数据清理、探索性数据分析（EDA）、统计分析和可视化变得更加容易。以下是一些主要关于数据分析的 Pandas 功能：
1. 数据清理
- 处理缺失值：
# 删除包含缺失值的行 df.dropna(inplace=True) # 填充缺失值 df.fillna(value, inplace=True)
- 删除重复值：
df.drop_duplicates(inplace=True)
2. 探索性数据分析（EDA）
- 基本统计信息：
# 描述性统计信息 df.describe() # 单独计算均值、中位数等 df.mean()
- 数据分布可视化：
import matplotlib.pyplot as plt # 直方图 df['Column1'].hist() # 箱线图 df.boxplot(column='Column1')
3. 数据过滤和选择
- 条件过滤：
selected_data = df[df['Column1'] > 2]
- 按列选择：
df['Column1']
4. 数据分组和聚合
- 按列分组：
grouped_data = df.groupby('Column2')['Column1'].mean()
- 多列分组和多个聚合函数：
grouped_data = df.groupby(['Column2', 'Column3']).agg({'Column1': 'mean', 'Column4': 'sum'})
5. 数据合并和连接
- 合并两个 DataFrame：
merged_df = pd.merge(df1, df2, on='common_column', how='inner')
- 连接操作：
concatenated_df = pd.concat([df1, df2], axis=0)
6. 时间序列分析
- 处理日期数据：
df['Date'] = pd.to_datetime(df['Date'])
- 时间序列分析：
df.resample('M').mean() # 按月重采样并计算均值
7. 统计分析
- 相关性分析：
correlation_matrix = df.corr()
- 假设检验：
from scipy.stats import ttest_ind t_stat, p_value = ttest_ind(df_group1['Column1'], df_group2['Column1'])
这些只是 Pandas 提供的数据分析功能的一小部分。在实际应用中，通常需要根据具体的数据集和分析目标使用更多的方法和技巧。
接下来让我们一起学习与闯关吧！
第1关：了解数据集特征
任务描述
本关任务：载入网贷数据集，了解数据概况。
共包含多个子任务：
1.1 读取Training_Master.csv文件，命名为master；
1.2 读取Training_Userupdate.csv文件，命名为user；
1.3 读取Training_LogInfo.csv文件，命名为log；
1.4 分别输出它们的形状；
1.5 输出包含master后7个列名的列表；
1.6 输出user表的前3行。
知识讲解
为了完成本关任务，你需要掌握：
1.pandas模块导入
import pandas as pd
2.pandas模块下的数据文件读取方法
read_csv() #返回DataFrame类型对象
若数据包含中文，需添加参数encoding='gbk'。
3.了解数据集基本特征的方法。
DataFrame.shape #DataFrame形状 DataFrame.head(n) #DataFrame数据的前n行 DataFrame.columns #DataFrame的列索引
编程要求
根据提示，在右侧编辑器补充代码。
运行代码
# -*- coding: utf-8 -*- ''' 第1关 : 了解数据集特征 ''' # 1.1 读取Training_Master.csv文件，命名为master； master = pd.read_csv('Training_Master.csv', encoding='gbk') # 1.2 读取Training_Userupdate.csv文件，命名为user； user = pd.read_csv('Training_Userupdate.csv', encoding='gbk') # 1.3 读取Training_LogInfo.csv文件，命名为log； log = pd.read_csv('Training_LogInfo.csv', encoding='gbk') # 1.4 分别输出它们的形状； print(master .shape) print(user .shape) print(log.shape) # 1.5 输出包含master后7个列名的列表； a = [i for i in master.colums[-7:]] print(a) # 1.6 输出user表的前3行。 print(user.head(3))
第2关：DataFrame 的 CRUD
任务描述
本关任务：使用DataFrame结构深入了解数据集细节。
包含4个子任务：
2.1 查询master表的列名前缀；
2.2 删除master表的列；
2.3 在master表中增加列；
2.4 修改master表数据。
知识讲解
为了完成本关任务，你需要掌握：
获取DataFrame列名
DataFrame.columns返回DataFrame的列名Index对象
例如：
In [1]: log.columns Out[1]: Index(['Idx', 'Listinginfo1', 'LogInfo1', 'LogInfo2', 'LogInfo3'], dtype='object')
字符串分割
str.split(分隔符) 返回字符串列表
例如：
In [2]:'SocialNetwork_12'.split('_') Out[2]: ['SocialNetwork', '12']
删除DataFrame的列
根据索引名称（label）删除指定的行（axis = 0）或列（axis = 1），inplace指定是否删除原数据。
label可以是字符串，也可以是字符串列表。
DataFrame.drop(label,axis,inplace)
Series的广播操作
像ndarray结构一样，Series结构也支持广播操作。
根据行列索引名称查询DataFrame
loc方法的参数很灵活，名称、名称列表、条件表达式均可，需根据实际情况灵活使用。条件表达式本质上仍是索引名列表。
DataFrame.loc[行索引名或条件表达式,列索引名或条件表达式]
编程要求
根据提示，补充代码。
运行代码
# -*- coding: utf-8 -*- ''' 第2关：DataFrame 的 CRUD ''' import pandas as pd master = pd.read_csv('Training_Master.csv', encoding='gbk') user = pd.read_csv('Training_Userupdate.csv', encoding='gbk') log = pd.read_csv('Training_LogInfo.csv', encoding='gbk') # 2.1 查询master表的列名前缀列表，并按字母升序输出该列表； # 例如：SocialNetwork_12列的列名前缀为：SocialNetwork lc = list(master.colums) lx = list() for i in lc: x = i.split("_") if x[0] not in lx: lx.append(x[0]) lx.sort() print(lx) # 2.2 删除master表的列名前缀为：SocialNetwork的列； # 输出：共**列被删除 count = 0 iy = list() for ix in lc: x = ix.split("_") if x[0] = 'SocialNetwork': iy.append(ix) count=count+1 print('共{0}列被删除。'.format(count)) ma = master.drop(labels = iy,axis = 1) # 2.3 在master表中最右侧增加一列Result, # 记录 UserInfo_1和UserInfo_3的和， # 并输出这三列的前5行 ma['Result'] = ma['UserInfo_1'] + ma['UserInfo_3'] mb = ma[['UserInfo_1','UserInfo_3','Result']].head(5) print(mb) # 2.4 将UserInfo_2列中所有的“深圳”替换为“中国深圳”， # 并计算“中国深圳”的用户数 mc = master['UserInfo_2'] mc = mc.replace('深圳','中国深圳') cou = 0 for i in mc: if i == '': cou = ou + 1 print(cou)
第3关：利用 pandas 实现数据统计分析
任务描述
本关任务：利用pandas进行数据统计分析。
本关共包含4个子任务：
3.1 用户来源地分析；
3.2 未登录用户分析；
3.3 用户活跃度分析；
3.4 用户活跃期分析。
具体任务内容详见代码注释。
知识讲解
为了完成本关任务，你需要掌握：
数据频数统计
Series.value_counts() #返回Series类型数据,表达Series每个取值的出现次数。
简单数据统计
DataFrame.agg(np中的简单统计方法) #按列统计，直接返回统计结果
时间字符串转换为时间类型数据
pd.to_datetime(Series或DataFrame)
取时间数据的星期名称
Timestamp.day_name()
数据分组
DataFrame.groupby(列索引) #返回DataFrameGroupBy对象， DataFrameGroupBy.nunique() #分组对象的nunique方法直接返回每个分组中不重复值的个数。
编程要求
根据提示，补充代码。
运行代码
# -*- coding: utf-8 -*- ''' 第3关：利用 pandas 实现数据统计分析 ''' import pandas as pd import numpy as np master = pd.read_csv('Training_Master.csv', encoding='gbk') user = pd.read_csv('Training_Userupdate.csv', encoding='gbk') log = pd.read_csv('Training_LogInfo.csv', encoding='gbk') # 3.1 用户来源地分析； # 在master表中用value_counts方法实现按用户所在地(UserInfo_2)统计用户数 # 并按照如下格式输出统计结果的前5项(其中为英文字符号) # 城市:(用户数) vacount=master['UserInfo_2'].value_counts() va=vacount.head(5) vb=va.index for i in range(5): print('{}:({})'.format(vb[i],va[i])) # 3.2 未登录用户分析； # 结合master表和log表的内容， # 求取从未登录的用户的数量，直接输出 ms=set(master['Idx']) ls=set(log['Idx'] nologuser=ms-ls print(len(nologuser)) # 3.3 用户活跃度分析； # 求取信息更新（user表）次数最多的用户的最早登录时间（LogInfo3） # 输出用户Idx，更新次数，最早登录时间 counts=user['Idx'].value_counts().head(1) ci=counts.index logtime=log[log['Idx']==ci[0]]['LogInfo3'].agg(np.min) print(ci[0],counts.values[0],logtime) # 3.4 用户活跃期分析。 # 给user表增加新列“weekday”，填入更新日期（UserupdateInfo2）相应的星期名称 # 用groupby和nunique方式实现 # 按星期名称统计用户更新人数（注意，是人数），并输出 user['weekday']=[i.day_name() for i in pd.to_datetime(user['UserupdateInfo2'])] weekgroup=user[['Idx','weekday']].groupby('weekday') weekcounts=weekgroup.nunique()['Idx'] print(weekcounts)
