基于校园卡消费数据的数据分析与处理

简介: 基于校园卡消费数据的数据分析与处理

完整代码:https://download.csdn.net/download/pythonyanyan/87392574


任务 1 数据导入与预处理


任务 1.1 探查数据质量并进行缺失值和异常值处理

数据结构总览

查看数据集项数,发现数据集 data1.csv,有 4341 项,5 列;数据集 data2.csv,有 519367 项,14 列;数据集 data3.csv,有 43156 项,6 列


检查重复值

通过去重操作发现三个数据集均无重复项

数据内容总览

查看数据信息 info(),发现 data1 和 data3 中均无缺失值 ,data2 中 termSerNo、conOperNo 存在较大量的缺失值,因为这两项数据对后续分析无影响故直接过滤

数据分布总览


通过对数据 Describe,查看数据的均值,最大值,最小值以及方差等数据特征,观察到 data1


和 data3 中的特征值均较为合理,data2 中的 Money、FundMoney、Surplus 以及 CardCount,均存在和样本群体偏离程度较大的数据,会影响后序模型的性能


消费金额和消费次数

观察消费金额和消费次数的散点图,发现数据中具有一定数量的离群点,将其过滤



4e4edd77b0d86f44b94102689c9e55bd.jpg


观察 CardCount 特征的分布情况

通过 distplot 和 kdeplot 绘制柱状图观察 CardCount 特征的分布情况,属于长尾类型的分布,这说明了有很多消费次数过多且超出正常范围。

fe3bb748e6a9b7c52d9b3a4269f4ccc6.jpg


任务 2 食堂就餐行为分析

**任务 2.1 **

绘制各食堂就餐人次的占比饼图,分析学生早中晚餐的就餐地点,是否有显著差别


0f80d33af8f8307a00a0883007c69242.jpg


图 1


30b5455bb60e9d89ea3750e29c486c3f.jpg

图 2,图 3,图 4


根据图 1,综合早、午、晚三餐学生的就餐地点来看,34.44% 的学生更偏爱去第二食堂,26.16%的学生偏爱去第五食堂,第一、三、四食堂在学生的偏爱程度中属于一般水平,而只有 0.46%的学生在教师食堂就餐。


根据图 2,图 3,图 4 三图分析,学生对食堂的偏爱程度前三的食堂是:


  • 早餐:第二食堂 > 第五食堂 > 第一食堂
  • 午餐:第二食堂 > 第五食堂 > 第四食堂
  • 晚餐:第二食堂 > 第五食堂 > 第四食堂


而学生用餐次数少的食堂(以用餐次数是否超过 10% 为分界点)分别有:

  • 早餐:第四食堂、第三食堂、教师食堂
  • 午餐:教师食堂
  • 晚餐:教师食堂


综上,学生午晚两餐的用餐地点与综合三餐用餐地点分析比较,不存在显著差别;而学生的早餐用餐地点,选择第三、四食堂的占极少数,与综合三餐用餐地点有较为显著的差别。

任务 2.2

通过食堂刷卡记录,分别绘制工作日和非工作日食堂就餐时间曲线图,分析食堂早中晚餐的就餐峰值


6a9b52cc8d44ffe25e1c37d94cc838e3.jpg


从上图可以看出,工作日的就餐峰值均高于非工作日。工作日食堂早餐的就餐峰值为 60000 次,非工作日为 15000 次;工作日食堂午餐的就餐峰值为 90000 次,非工作日为 30000 次;工作日食堂晚餐的就餐峰值为 17000 次,非工作日为 41000 次。


出现该现象的主要原因在于工作日学生需要外出上课,直接前往食堂就餐的可能性更高,而非工作日学生由于直接在宿舍点外卖或者外出游玩就餐等原因导致前往食堂就餐的人数大幅减少。因此工作日食堂就餐峰值高于非工作日就餐峰值。


任务 2.3

根据上述分析的结果,为食堂的运营提供建议。


学校方面,应该根据学生的喜好程度合理安排食堂的场地、资金分配等资源,由 2.1 可知,大部分学生偏爱去第二食堂和第五食堂,因此学校应给予第二食堂和第五食堂资源倾斜。


食堂方面,受偏爱的第二食堂和第五食堂应该进行菜品创新,形成顾客粘性。并且因为就餐学生多,食堂更应该合理安排食堂内的排队位置,提高排队效率。而就餐学生数偏少的第一、三、四食堂应该找出自身原因,采取例如提高食堂环境质量、增加菜品种类或提出促销活动等方法吸引学生群体。


此外,每个食堂在就餐峰值(分别为 7 点、11 点、17 点左右)应加大食堂人手,合理安排排队场所,提高排队效率,避免打饭效率低下,并且应在这三个高峰时间段内增加菜品供应量,避免供不应求。而在非高峰期,食堂可以适当减少菜品供应和食堂工作人员数量,从而减少食堂无用的运营成本。


任务 3 学生消费行为分析

**任务 3.1 **

根据学生的整体校园消费数据,计算,并选择 3 个专业,分析不同专业间不同性别学生群体的消费特点。


本月人均刷卡频次和人均消费额

根据程序计算结果得出:本月人均消费频次为:72.74118014361537 次本月人均消费额为:288.7773899469248 元

考虑数据合理性,得出:本月人均消费频次越为:73 次;本月人均消费额 288.8 元


选择 3 个专业,分析不同专业间不同性别学生群体的消费特点

根据程序运行结果得出学生消费总额、消费次数总数、校园卡中余额的数据特征图



36b3a764767e7b7bb4cc2a8cf50ade04.jpg

de2f079ba2dbbed35816d644a18ce4b4.jpg

06b59fff6ba2420985022d5f37b9134e.jpg


根据程序运行结果得出学生消费总额、消费次数总数、校园卡中余额的柱状图


13a1675a300e2e25baa50f8a78a7a4f5.jpg

4ef88341676580f3f7b88d50a0a18517.jpg

75e0a1dc6c3aed6cbc5e754ec0cb1a46.jpg


从上图和上表可以得到不同专业的学生,计算机应用专业学生消费最频繁,国际金融专业学生单次消费金额最高,艺术设计专业学生卡内盈余最低。而不同专业的学生卡内盈余相差不大。出现该差异的可能原因在于计算机应用专业需要运用到电脑等电子设备,导致购买频繁。国际金融专业消费金额高可能是其运用专业知识赚钱所需。艺术设计专业学生卡内盈余最低可能是由于其日常在服装等上面的开销较大。


此外,我们可以得到不同专业间不同性别学生群体的消费特点。


首先是国际金融专业的学生。该专业女生消费频繁,男生单次消费金额高,卡内盈余金额近似。其次是艺术设计专业的学生。该专业女生消费频繁,男生单次消费金额高。男生卡内盈余金额高于女生。最后是计算机应用专业的学生。该专业男生消费频繁、单次消费金额高,并且男生盈余金额高于女生。


通过分析,出现性别上消费特点差异主要是由于男女性格原因。女生更偏好高频低费用的购买,享受消费的过程,因此消费次数多,每次都只是购买小额商品。而男生更偏好于低频高费用的购买,消费目的性强,虽不经常消费,但每次总是会消费较大额度。


**任务 3.2 **

根据学生的整体校园消费行为,选择合适的特征,构建聚类模型,分析每一类学生群体的消费特点。

3.2.1 概述

为了将学生的整体校园消费行为进行分类,选择了当月消费总金额,消费次数,卡内存款作为特征进行聚类,采用的聚类算法为 k-means 算法(k-均值聚类算法)

3.2.2 -means 算法简介


k-means 算法(k-均值聚类算法)是一种基本的已知聚类类别数的划分算法。它是很典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。该算法认为簇是由距离靠近的对象组成的,因此把得到紧凑且独立的簇作为最终目标。它可以处理大数据集,且高效。它的输入自然是数据集和类别数。聚类结果是划分为 k 类的 k 个数据集。


3.2.3 过程

将学生的整体校园消费行为分为 4 类,因此将 k-means 算法中的 k 值取为 4,运用公式 data = 1.0*(data - data.mean())/data.std() 进行数据标准化,采用欧式距离作为度量,并画出每一项特征对应的数据直方图如下


09f4b35a6167fa4ea065773a9820bf55.jpg

3.2.4 聚类结果分析


  • 根据学生在 4 月份的消费金额、卡内盈余与消费次数,我们将学生分成了四类群体,分别命名为 0,1,2,3.
  • 学生群体 0 的消费特点为:该群体属于中等消费水平,有较高的消费潜力,这类学生群体应有较为良好的储蓄意识,属于滞后消费。


  • 学生群体 1 的消费特点为:该群体属于高消费水平,但消费潜力较弱,这类学生群体的消费能力较高。
  • 学生群体 2 的消费特点为:该群体属于低消费水平,且消费潜力较弱,这类学生群体的消费能力较弱。
  • 学生群体 3 的消费特点为:该群体属于中等消费水平,消费潜力较弱,这类学生群体的储蓄意识较于学生群体 0 更弱。


任务 3.3


通过对低消费学生群体的行为进行分析,探讨是否存在某些特征,能为学校助学金评定提供参考。


b198b6a4eb1f9c7cd49d1008e2e889cf.jpg



根据分类所得的贫困生情况,我们首先针对贫困生的性别进行分析。由上图可看出,在已知的贫困生人数之中,超过半数的贫困生为女性。


886ddd5ddaaa7b6ae8915498ce4d9b6c.jpg

根据分类所得的贫困生情况,对贫困生所在专业类别进行分析归纳。可发现,专业为理工科的学生中,贫困人口占比大;经管商科的学生中,贫困人口的占比数相较于理工科的会更少。而专业为艺术设计类的学生,贫困人口数量最少。


9768d3dc1f7306fa850b8da3c08f4e3e.png

e75871379eaa1eda9675cdf745d9740b.png

从上图可以看出贫困生的单次消费金额主要在 51-100 元之间,消费次数主要在 501-750 元之间,卡内盈余主要在 100-200 元之间。和其他类别学生相比,我们可以看出贫困生的消费次数、消费金额和卡内盈余均较低。


从上述分析我们可以看出,贫困人口有较大概率集中在性别为女,专业为理工科,日常消费次数、消费金额以及卡内盈余都较低的学生当中。因此,学校在评定奖助学金的过程中,可以根据学生的性别、专业和日常消费情况对学生的贫困背景进行一个初步的估计,为后面对学生群体贫困背景的详细调查,提供一个简单的基础。

相关文章
|
1月前
|
自然语言处理 小程序 数据挖掘
数据分析实战-Python实现博客评论数据的情感分析
数据分析实战-Python实现博客评论数据的情感分析
104 0
|
2月前
|
数据采集 数据挖掘 API
主流电商平台数据采集API接口|【Python爬虫+数据分析】采集电商平台数据信息采集
随着电商平台的兴起,越来越多的人开始在网上购物。而对于电商平台来说,商品信息、价格、评论等数据是非常重要的。因此,抓取电商平台的商品信息、价格、评论等数据成为了一项非常有价值的工作。本文将介绍如何使用Python编写爬虫程序,抓取电商平台的商品信息、价格、评论等数据。 当然,如果是电商企业,跨境电商企业,ERP系统搭建,我们经常需要采集的平台多,数据量大,要求数据稳定供应,有并发需求,那就需要通过接入电商API数据采集接口,封装好的数据采集接口更方便稳定高效数据采集。
|
9天前
|
数据挖掘 定位技术
基于出租车GPS轨迹数据的研究:出租车行程的数据分析
基于出租车GPS轨迹数据的研究:出租车行程的数据分析
10 0
|
10天前
|
机器学习/深度学习 数据采集 数据挖掘
Python 的科学计算和数据分析: 解释什么是数据规整(Data Wrangling)?
【4月更文挑战第15天】数据规整是将原始数据转化为适合分析和建模的格式的关键步骤,涉及缺失值处理(删除、填充、插值)、异常值检测与处理、数据类型转换、重采样、数据合并、特征选择和特征变换等任务。这些预处理步骤确保数据质量和准确性,为后续的数据分析和机器学习模型构建奠定基础。
18 4
|
21天前
|
存储 机器学习/深度学习 数据采集
数据分析师如何处理数据以进行分析?
【4月更文挑战第4天】数据分析师如何处理数据以进行分析?
19 9
|
22天前
|
人工智能 监控 数据可视化
【Python】Python商业公司贸易业务数据分析可视化(数据+源码)【独一无二】
【Python】Python商业公司贸易业务数据分析可视化(数据+源码)【独一无二】
|
1月前
|
存储 数据采集 数据挖掘
python数据分析——数据分类汇总与统计
数据分类汇总与统计是指将大量的数据按照不同的分类方式进行整理和归纳,然后对这些数据进行统计分析,以便于更好地了解数据的特点和规律。
59 1
|
1月前
|
存储 SQL 数据挖掘
python数据分析——数据的选择和运算
在数据分析中,数据的选择和运算是非常重要的步骤。数据选择和运算是数据分析中的基础工作,正确和高效的选择和运算方法对于数据分析结果的准确性和速度至关重要。
43 0
|
1月前
|
JSON 数据挖掘 数据格式
python数据分析——数据分析的数据的导入和导出
数据分析的数据的导入和导出是数据分析流程中至关重要的两个环节,它们直接影响到数据分析的准确性和效率。在数据导入阶段,首先要确保数据的来源可靠、格式统一,并且能够满足分析需求。这通常涉及到数据清洗和预处理的工作,比如去除重复数据、处理缺失值、转换数据类型等,以确保数据的完整性和一致性。
36 0
|
1月前
|
数据采集 数据可视化 数据挖掘
python数据分析——业务数据描述
业务数据描述将从统计学角度来分析这指标。利用统计方法,数据分析人员可以通过相应统计模型开展数据分析。数据分析过程包括数据收集,数据处理,数据探索,模型方法应用,分析结果数据展现及形成分析报告。 业务报表是指对业务内容和数据的统计分析图表。统计图表代表了一张图像化的数据,形象地呈现数据。我们常常提到的可视化分析图表一般包括比较类图表,占比类图表,相关类图表和趋势类图表。
39 1