Python数据特征分析_01(MOOC学习时长分析)(下)

简介: 本篇博客使用到的数据如下:通过分析每个学生的学习时长来分析学生的学习稳定性。(共有115人,每个人记录了11次的学习数据)

3、相对数对比


df2['LUO_per']=df2['罗梓']/df2['罗梓'].sum()
df2['LI_per']=df2['李裕']/df2['李裕'].sum()
df2['LUO_per%']=df2['LUO_per'].apply(lambda x:'%.2f%%' %(x*100))
df2['LI_per%']=df2['LI_per'].apply(lambda x:'%.2f%%' %(x*100))
fig,axes=plt.subplots(2,1,figsize=(12,6))
df2[['罗梓','李裕']].plot(kind='line',style='--.',ax=axes[0])
df2[['LUO_per','LI_per']].plot(kind='line',style='--.',ax=axes[1])
axes[0].legend(loc='upper right')
axes[1].legend(loc='upper right')

16c4930dbc3348bdadf8a218dc3aab23.png


4、比例分析


# 新增df2['totals']列,让其等于所有人每周学习时长的总和。
df2['totals']=df2.iloc[:,0:115].apply(lambda x:x.sum(),axis=1)
# 看看罗梓每周在总学习时长当中所占的比例
df2['LUO_per']=df2['罗梓']/df2['totals']
df2['LUO_per'].plot.area(color='g',ylim=[0.03,0.6],grid=True)

96c5ab7af08b4e11be9f7487926dc8d3.png

fbb9c8cb1846411b8c169381c46cd0fc.png


5、空间比较分析


表示利用bar图去看学习时长的高度

plt.figure(figsize=(24,10))
df2.iloc[:,0:25].sum().astype(float).plot(kind = 'bar', alpha = 0.8, grid = True,) 
for i,j in zip(range(115),df2.iloc[:,0:25].sum().astype(float)):
    plt.text(i-0.25,j+2000,'%.2f' % j, color = 'k')

49d35b87829249668e8e43f2fe90c752.png


6、动态比较分析


设定1200分钟的学习时长作为及格线

df2['base']=1200
df2.head()
#计算累积增长量和逐期增长量
df2['l_growth']=df2['罗梓烜']-df2['base'] # 与1200相比较
df2['z_growth']=df2['罗梓烜']-df2.shift(1)['罗梓烜']# shift(1)是把数据向下移动1位
df2[['罗梓烜','l_growth','z_growth']]

ae655bd148964c56a249315be50b5b81.png


df3=df2.fillna(0)
df3[['l_growth','z_growth']].plot(figsize=(10,7),style='--')

63dd7dddbee545ef85200cd2a614e7c1.png


df2['lspeed']=df2['l_growth']/1200  #定基增长速度
df2['zspeed']=df2['z_growth']/df2.shift(1)['罗梓烜']  #环比增长速度
df2[['lspeed','zspeed']].plot(figsize=(20,10),style='--')
根据学习时长进行评价:
import pandas as pd
data=df.copy() 
label=['很低','低','中','高','很高']
k=5
data2=data['20220403'].copy()  #函数中一定要使用data!!!去改函数
pingjia=pd.cut(data2,k,labels=label)
data3=pd.DataFrame(data2).reset_index().merge((pd.DataFrame(pingjia).reset_index()).rename(columns={'20220403':'评价'}))
data3

df4f23894c504984a10250084cf487d0.png92f196f24cc542d3abcc8f6d88c4a562.png

import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
plt.figure(figsize=(10,10))
data3gb.plot.pie(y='x',
                 labels=label, # 标签,指定项目名称
#                  colors=['r', 'g', 'b', 'c','y'], # 指定颜色
                 autopct='%.2f', # 数字格式
                 fontsize=20, # 字体大小
                 figsize=(6, 6) # 图大小
                )

c3bdce1626d74a3ba7a89145999a5915.png


三、统计量分析



集中趋势分析:均值,中位数,众数

离中趋势分析:标准差,变异系数,四分位间距

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inline
dfsta=df[['20220403']].copy()
dfsta['f']=np.random.rand(115)
dfsta['f2']=dfsta['20220403']/(dfsta['20220403'].sum())
dfsta
mean=dfsta['20220403'].mean()
mean
#加权平均数
mean_w=(dfsta['20220403']*dfsta['f']).sum()/dfsta['f'].sum()
print('加权平均数是:%.2f' %mean_w)

259d237c172f47c3af535e53aafd8b0d.png

# 位置平均数
m = dfsta['20220403'].mode()
print('众数为',m.tolist())
# 众数是一组数据中出现次数最多的数,这里可能返回多个值
plt.figure(figsize=(16, 8)) 
med = dfsta['20220403'].median()
print('中位数为%i' % med)
# 中位数指将总体各单位标志按照大小顺序排列后,中间位置的数字
dfsta['20220403'].plot(kind = 'kde',style = '--k',grid = True)
# 密度曲线
plt.axvline(mean,color='r',linestyle="--",alpha=0.8)  
plt.text(15000 + 5,0.00005,'简单算数平均值为:%.2f' % mean, color = 'r')
# # 简单算数平均值
plt.axvline(mean_w,color='b',linestyle="--",alpha=0.8)  
plt.text(15000 + 5,0.00004,'加权算数平均值:%.2f' % mean_w, color = 'b',)
# # 加权算数平均值
plt.axvline(med,color='g',linestyle="--",alpha=0.8)  
plt.text(10000 + 5,0.00003,'中位数:%i' % med, color = 'g',)
# 中位数

3c747fce488d46649c5790249c41bbe8.png

选取两位学生进行比较:

data=df2[['罗梓烜','李裕']].copy()
data

cdb31c6e1a164e18953f6d95988a68dc.png

#计算极差
a_r=data['罗梓烜'].max()-data['罗梓烜'].min()
b_r=data['李裕普'].max()-data['李裕普'].min()
print('WU的极差:%.2f,LAI的极差:%.2f' %(a_r,b_r))
print('---------------')
#计算分位差
sta=data['罗梓烜'].describe()
stb=data['李裕普'].describe()
print(sta)
# print(type(sta))
print(stb)
a_iqr = sta.loc['75%'] - sta.loc['25%'] 
b_iqr = stb.loc['75%'] - stb.loc['25%']
print('WU的分位差为:%.2f, LAI的分位差为:%.2f' % (a_iqr,b_iqr))
print('------')
color = dict(boxes='DarkGreen', whiskers='DarkOrange', medians='DarkBlue', caps='Gray')
data.plot.box(vert=False,grid = True,color = color,figsize = (10,3))

4fc613476dcf4689a80869c82be9bf97.png

# 方差与标准差
a_std = sta.loc['std']
b_std = stb.loc['std']
a_var = data['罗梓烜'].var()
b_var = data['李裕'].var()
print('LUO的标准差为:%.2f, LUO的标准差为:%.2f' % (a_std,b_std))
print('LI的标准差为:%.2f, LI的方差为:%.2f' % (a_var,b_var))
# 方差 → 各组中数值与算数平均数离差平方的算术平均数
# 标准差 → 方差的平方根
# 标准差是最常用的离中趋势指标 → 标准差越大,离中趋势越明显
fig = plt.figure(figsize = (24,8))
ax1 = fig.add_subplot(1,2,1)
data['罗梓烜'].plot(kind = 'kde',style = 'k--',grid = True,title = 'LUO密度曲线')
plt.axvline(sta.loc['50%'],color='r',linestyle="--",alpha=0.8)  
plt.axvline(sta.loc['50%'] - a_std,color='b',linestyle="--",alpha=0.8)  
plt.axvline(sta.loc['50%'] + a_std,color='b',linestyle="--",alpha=0.8)  
# A密度曲线,1个标准差
ax2 = fig.add_subplot(1,2,2)
data['李裕'].plot(kind = 'kde',style = 'k--',grid = True,title = 'LI密度曲线')
plt.axvline(stb.loc['50%'],color='r',linestyle="--",alpha=0.8)  
plt.axvline(stb.loc['50%'] - b_std,color='b',linestyle="--",alpha=0.8)  
plt.axvline(stb.loc['50%'] + b_std,color='b',linestyle="--",alpha=0.8,linewidth=5)  
# B密度曲线,1个标准差

62eeab95d8e24b349fb0ccfb94985047.png


相关文章
|
5天前
|
数据采集 缓存 定位技术
网络延迟对Python爬虫速度的影响分析
网络延迟对Python爬虫速度的影响分析
|
7天前
|
数据采集 存储 JSON
Python爬虫开发中的分析与方案制定
Python爬虫开发中的分析与方案制定
|
7天前
|
图形学 Python
SciPy 空间数据2
凸包(Convex Hull)是计算几何中的概念,指包含给定点集的所有凸集的交集。可以通过 `ConvexHull()` 方法创建凸包。示例代码展示了如何使用 `scipy` 库和 `matplotlib` 绘制给定点集的凸包。
16 1
|
8天前
|
JSON 数据格式 索引
Python中序列化/反序列化JSON格式的数据
【11月更文挑战第4天】本文介绍了 Python 中使用 `json` 模块进行序列化和反序列化的操作。序列化是指将 Python 对象(如字典、列表)转换为 JSON 字符串,主要使用 `json.dumps` 方法。示例包括基本的字典和列表序列化,以及自定义类的序列化。反序列化则是将 JSON 字符串转换回 Python 对象,使用 `json.loads` 方法。文中还提供了具体的代码示例,展示了如何处理不同类型的 Python 对象。
|
8天前
|
数据采集 Web App开发 iOS开发
如何使用 Python 语言的正则表达式进行网页数据的爬取?
使用 Python 进行网页数据爬取的步骤包括:1. 安装必要库(requests、re、bs4);2. 发送 HTTP 请求获取网页内容;3. 使用正则表达式提取数据;4. 数据清洗和处理;5. 循环遍历多个页面。通过这些步骤,可以高效地从网页中提取所需信息。
|
14天前
|
数据可视化 开发者 Python
Python GUI开发:Tkinter与PyQt的实战应用与对比分析
【10月更文挑战第26天】本文介绍了Python中两种常用的GUI工具包——Tkinter和PyQt。Tkinter内置于Python标准库,适合初学者快速上手,提供基本的GUI组件和方法。PyQt基于Qt库,功能强大且灵活,适用于创建复杂的GUI应用程序。通过实战示例和对比分析,帮助开发者选择合适的工具包以满足项目需求。
55 7
|
13天前
|
存储 数据处理 Python
Python科学计算:NumPy与SciPy的高效数据处理与分析
【10月更文挑战第27天】在科学计算和数据分析领域,Python凭借简洁的语法和强大的库支持广受欢迎。NumPy和SciPy作为Python科学计算的两大基石,提供了高效的数据处理和分析工具。NumPy的核心功能是N维数组对象(ndarray),支持高效的大型数据集操作;SciPy则在此基础上提供了线性代数、信号处理、优化和统计分析等多种科学计算工具。结合使用NumPy和SciPy,可以显著提升数据处理和分析的效率,使Python成为科学计算和数据分析的首选语言。
22 3
|
14天前
|
存储 机器学习/深度学习 算法
Python科学计算:NumPy与SciPy的高效数据处理与分析
【10月更文挑战第26天】NumPy和SciPy是Python科学计算领域的两大核心库。NumPy提供高效的多维数组对象和丰富的数学函数,而SciPy则在此基础上提供了更多高级的科学计算功能,如数值积分、优化和统计等。两者结合使Python在科学计算中具有极高的效率和广泛的应用。
31 2
|
19天前
|
数据采集 机器学习/深度学习 搜索推荐
Python自动化:关键词密度分析与搜索引擎优化
Python自动化:关键词密度分析与搜索引擎优化
|
20天前
|
数据可视化 算法 JavaScript
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式
本文探讨了如何利用图论分析时间序列数据的平稳性和连通性。通过将时间序列数据转换为图结构,计算片段间的相似性,并构建连通图,可以揭示数据中的隐藏模式。文章介绍了平稳性的概念,提出了基于图的平稳性度量,并展示了图分区在可视化平稳性中的应用。此外,还模拟了不同平稳性和非平稳性程度的信号,分析了图度量的变化,为时间序列数据分析提供了新视角。
48 0
基于图论的时间序列数据平稳性与连通性分析:利用图形、数学和 Python 揭示时间序列数据中的隐藏模式