👉博__主👈:米码收割机
👉技__能👈:C++/Python语言
👉公众号👈:测试开发自动化【获取源码+商业合作】
👉荣__誉👈:阿里云博客专家博主、51CTO技术博主
👉专__注👈:专注主流机器人、人工智能等相关领域的开发、测试技术。
一、实验目标
考核旨在让学生使用学习的大数据分析技术,对学生学科成绩进行全面、深入的分析。通过对数据的分析和处理,希望了解学生的基本情况、学校、家庭背景、个人素质、学习情况等方面与成绩关系。
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇
包括学生的学校、性别、父母教育情况、学习时间、挂科情况、提升情况、身体素质等方面的数据。
以下是数据字段中的类型数据字段描述信息:
性别 “F” 女 or “M” 男
母亲教育情况 0: 无, 1: 小学, 2: 初中, 3:高中 ,4:大学
父亲教育情况 0: 无, 1: 小学, 2: 初中, 3:高中 ,5:大学
每周学习时间 1:低,2:中,3:高,4:很高
挂科次数 0:无,1:低,2:中,3:高,4:很高
课外教育提升情况 1:有,0:无
健康状况 1:很差,2:差,3:一般,4:好,5:很好
- 数据预处理
在数据预处理阶段,对数据进行清洗和整理,包括删除重复数据、处理缺失值、转换数据类型等。可以观察数据进行征工程,提取了与问题相关的特征,并对特征进行了归一化和标准化处理。- 数据分析方法
在数据分析阶段,可以采用多种分析方法,包括描述性统计、可视化分析、机器学习和深度学习等。通过这些方法,对数据进行了深入的分析和处理,挖掘出其中隐藏的信息和知识。- 数据可视化
在数据可视化阶段,根据需要采用合适的图表展现数据蕴含的规律。
一、分析过程
- 数据加载和初步观察:
通过使用pandas库的read_csv函数加载了名为"某学校学生成绩分析.csv"的数据文件,并将其存储在DataFrame对象df中。然后使用print(df.head())查看了数据的前几行,以了解数据的基本结构和内容。
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇
- 数据清洗和处理:
删除了重复的数据行,确保每个数据点是唯一的。
处理了缺失值,将缺失值用字符串"unknown"填充。
对某些列进行了数据类型转换,例如将"每周学习时间"列从文本数据转换为数值数据,并使用了映射字典对其他列进行了数值化处理。
使用MinMaxScaler对"缺课次数"和"挂科次数"列进行了归一化处理,将它们的值缩放到0到1之间。
- 数据可视化:
绘制了男女比例的饼状图,用于展示学生性别的分布情况。
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇
使用PCA进行降维,将"缺课次数"和"挂科次数"两个特征降维到二维空间,并使用K均值聚类算法对降维后的数据进行聚类。
绘制了PCA降维后的数据的散点图,并根据K均值聚类的结果对数据点进行了着色,以显示聚类效果。
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇
- 距离热力图:
计算了K均值聚类的聚类中心和每个数据点到各个聚类中心的距离。
创建了一个热力图,用于可视化数据点与聚类中心之间的距离,以进一步分析聚类效果。
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇
二、代码实现
数据加载和初步观察:通过以下代码加载数据文件,并查看前几行数据:
df = pd.read_csv('某学校学生成绩分析.csv') print(df.head())
这一部分的目的是加载数据集,使其可用于后续的分析。pd.read_csv函数用于读取CSV文件,并将数据存储在DataFrame对象df中。df.head()用于查看DataFrame的前几行,以便初步了解数据的结构和内容。
数据清洗和处理:
删除重复数据行,确保每个数据点是唯一的。这通过df.drop_duplicates()来实现。处理缺失值,将缺失值用字符串"unknown"填充。这通过df.fillna(“unknown”)来实现。对特定列进行数据类型转换,例如将"每周学习时间"列从文本数据转换为数值数据,以及使用映射字典对其他列进行数值化处理。使用MinMaxScaler对"缺课次数"和"挂科次数"列进行归一化处理,将它们的值缩放到0到1之间。
数据可视化:
在数据清洗和处理后,进行了以下数据可视化步骤:
绘制了男女比例的饼状图,以展示学生性别的分布情况。这通过以下代码实现:
# 其余代码略..... gender_counts = df['性别'].value_counts() plt.figure(figsize=(6, 6)) plt.pie(gender_counts, labels=gender_counts.index, autopct='%1.1f%%', startangle=140) plt.title('Gender Distribution') plt.show()
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇
使用PCA将"缺课次数"和"挂科次数"两个特征降维到二维空间,并使用K均值聚类对降维后的数据进行聚类。这是通过以下代码实现的:
# 其余代码略..... pca = PCA(n_components=2) reduced_data = pca.fit_transform(df[['缺课次数', '挂科次数']]) kmeans = KMeans(n_clusters=3, random_state=0) clusters = kmeans.fit_predict(reduced_data)
绘制了PCA降维后的数据的散点图,根据K均值聚类的结果对数据点进行了着色,以展示聚类效果。这通过以下代码实现:
# 其余代码略..... plt.scatter(reduced_data[:, 0], reduced_data[:, 1], c=clusters, cmap='viridis') plt.xlabel('Principal Component 1') plt.ylabel('Principal Component 2') plt.title('PCA and K-Means Clustering') plt.show()
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇
距离热力图:
最后,计算了K均值聚类的聚类中心和每个数据点到各个聚类中心的距离,然后创建了距离热力图,用于可视化数据点与聚类中心之间的距离。这部分的实现如下:
# 其余代码略..... cluster_centers = kmeans.cluster_centers_ distances = np.array([np.linalg.norm(reduced_data - center, axis=1) for center in cluster_centers]) distance_matrix = distances.T plt.figure(figsize=(10, 8)) sns.heatmap(distance_matrix, cmap='viridis') plt.title('Heatmap of Distances to Cluster Centers') plt.xlabel('Cluster Centers') plt.ylabel('Data Points') plt.show()
以上是代码的主要实现过程,涵盖了数据加载、清洗、处理、可视化以及聚类分析等多个步骤,以便更好地理解和分析学生成绩数据。每个部分都有其具体的目标和实现方式,共同构建了一个完整的数据分析流程。
👇👇👇 关注公众号,回复 “学生学科成绩分析” 获取源码👇👇👇