数据报告分享|WEKA贝叶斯网络挖掘学校在校人数影响因素数据分类模型

简介: 数据报告分享|WEKA贝叶斯网络挖掘学校在校人数影响因素数据分类模型

全文链接:https://tecdat.cn/?p=33159


本文着眼普通高等学校在校学生人数,提出了不同种类学校的在校人数可能存在的影响关系从而探究教育现状的因素,建立分类模型,探求这几个因素间的数量关系点击文末“阅读原文”获取完整代码数据


本文试图帮助客户通过研究不同种类学校的在校人数的关系,从而挖掘出学校在校人数对技校在校人数是否有影响。


问题分析


本次选取来自广东省统计年鉴1978年以来的各级各类学校在校学生数数据查看文末了解数据免费获取方式

image.png

并对高等学校、中等职业教育学校  、技工学校、  普通中学、小学的人数进行贝叶斯分类分析,试图通过分类分析得到不同学校类型在校人数之间存在的关系,从而得出结论,提出建议。

WEKA 使用流程

WEKA使学习应用机器学习方便,高效和乐趣。这是一个GUI工具,它允许您加载数据集,运行算法设计及运行试验与统计结果。

1. 进入软件

   启动Weka的。这可能涉及发现它在程序启动或双击该文件weka.jar。这将启动GUI的Weka选配。

Weka的GUI选择器可以让你选择资源管理器中,实验者,KnowledgeExplorer和简单CLI(命令行界面)中的一个。

image.png

2. 加载数据

   该GUI让您加载数据集,运行分类算法。它还提供了其他的功能,如数据过滤,聚类,关联规则提取和可视化,但现在我们不会使用这些功能的。

   点击“打开文件...”按钮,打开“数据”目录中的数据集并双击。

   WEKA提供了一些常见的小机器学习数据集,你可以用它来练习上。


点击标题查阅往期内容


课程视频|R语言bnlearn包:贝叶斯网络的构造及参数学习的原理和实例


01

02

 

03

04



3. 进行挖掘

   现在你已经加载的数据集,它的时间来选择一个机器学习算法建模的问题,并作出预测。

   点击“分类”标签。这是用于运行针对Weka的一个装载数据集的算法的区域。

image.png

点击“开始”按钮,运行该算法。


数据


本次分析的数据来自广东省统计年鉴的各级各类学校在校学生数数据。《广东统计年鉴》(下简称《年鉴》)系统收录了全省及各市、县(区)在校人数的统计数据,以及1978年以来各个主要时期全省一共221条主要统计数据。

指标选取

本次分析一共选取了5个指标221个样本,分别是:高等学校、中等职业教育学校 、技工学校、  普通中学、小学。


贝叶斯网络

贝叶斯网络是一种概率网络,它是基于概率推理的图形化网络,而贝叶斯公式则是这个概率网络的基础。

由乘法公式,我们得到

P (A | B) = P (A, B) / P (B)=(P(B|A)P(A))/P(B)

这就是著名的贝叶斯公式。

贝叶斯公式几乎是所有概率推理的现代人工智能系统的基础。这个式子同样表示一组公式,每个公式处理变量的特定取值。我们还有某些场合要在某个背景证据e上使用一个更通用版本的条件化公式:

image.png

贝叶斯法则是在一个条件概率和2个无条件概率的基础上计算另一个条件概率。

贝叶斯法则对于回答在某一条证据的条件约束下的概率问题是非常有用的,而且我们已经讨论过概率信息经常是以P(结果 | 原因)的形式出现的。

为了解决以上问题,我们利用‘独立性’。

给定第三个随机变量Z(证据)之后,两个随机变量X和Y的条件独立性的一般定义是:

P(X,Y|Z)=P(X|Z)P(Y|Z)

也可以用以下形式来表示

P(X|Y,Z)=P(X|Z)

P(Y|X,Z)=P(Y|Z)

因此对于前面讲过的决对独立断言,允许将全联合分布分解成很多更小的分布,对于条件独立性断言也是同样成立的。

通过条件独立性,将一个大的概率领域分解城一些相互联系非常弱的子集,并允许概率系统进行规模扩展,而且条件独立性也比决对独立性断言更加普遍,称为素贝叶斯模型。

数据准备:

首先在weka中打开数据

image.png

查看每个学校的人数分布直方图

image.png

数据预处理:

为了消除数据量纲的变化,数据标准化:

然后将数据进行离散化 ,分成几个不同等级:

image.png

点击标题查阅往期内容


R语言用WinBUGS 软件对学术能力测验建立层次(分层)贝叶斯模型


01

02

03

image.png

04

image.png



贝叶斯模型训练:

建立贝叶斯模型,训练模型:

image.png

将技工学校的人数作为预测变量


实验结果


十折交叉验证

image.png

方法的比较

为了进行对比分析,本文选用准确率(Precision)、召回率(Recall)和覆盖率(Coverage)度量。

推荐结果的召回率定义为:

image.png

推荐结果的准确率定义为:

image.png

覆盖率(Coverage)描述的是一个推荐系统对物品长尾的发掘能力。推荐系统的覆盖率可以通过下面的公式计算:

image.png

得到每个类别的准确率、召回率、roc等结果:

image.png

混淆矩阵

image.png

对模型进行优化

image.png

每个类别的准确度和召回率等信息:

image.png

混淆矩阵

image.png

对分类结果进行可视化

image.png

从散点图来看,可以看到不同颜色代表不同技工学校的人数分类。纵轴代表预测人数,横轴代表实际人数。由于预测人数分布在y=x的直线上,因此可以认为预测人数等于实际人数,说明模型的预测效果良好。

由上图的比较可以看到,本文使用核函数进行改进后的方法的统计指标均明显优于各个子预测方法,准确度分别提高了 34%,召回率将对于之前算法提高为36% ,总体来说有明显的提高。


结论


从模型的结果来看,不同种类的学校的在校人数之间存在一定的联系。通过贝叶斯网络模型可以利用年份小学,初中等在校人数来预测技校的在校人数的数量,因此长远来看,我们可以通过不同学校的在校人数来预测未来人数的发展趋势。同时说明小学、初中的在校人数会影响技工学校的在校人数,同时技工学校人数和大学在校人数也有关系。高中毕业之后有些人会选择去技工学校学习专业技能,有些人会选择去高校深造,他们之间存在负相关关系,同时良好的初中小学的教育也会影响本科在校人数,因此对学生的义务教育也是相当重要的。

同时,在未来的研究中,还要结合办学条件、教学质量、学校内部结构等方面的因素来对学校的因素进行更深程度的研究。

相关文章
|
2天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:保护您的数据和隐私
【5月更文挑战第14天】本文将探讨网络安全漏洞、加密技术和安全意识等方面,以帮助读者更好地了解如何保护他们的数据和隐私。我们将讨论各种类型的网络攻击,以及如何使用加密技术来保护信息。此外,我们还将强调培养良好的安全习惯的重要性,以降低遭受网络攻击的风险。
|
2天前
|
安全 网络协议 网络安全
网络安全与信息安全:保护你的数据,保护你的未来
【5月更文挑战第14天】在数字化的世界中,网络安全和信息安全是每个互联网用户都必须面对的问题。本文将深入探讨网络安全漏洞、加密技术以及安全意识等方面的知识,帮助读者更好地理解和保护自己的数据。我们将讨论如何识别和防范网络安全威胁,如何使用加密技术来保护数据,以及如何提高自己的安全意识,从而在网络世界中更安全地生活。
|
2天前
|
安全 物联网 网络安全
网络安全与信息安全:保护数据的关键策略
【5月更文挑战第14天】 在数字化时代,网络安全和信息安全已成为维护个人隐私、企业资产和国家安全的基石。面对日益增长的网络威胁,理解并应对安全漏洞、掌握加密技术以及提升安全意识显得尤为重要。本文将深入探讨当前的网络安全隐患,解析加密技术的工作原理及其重要性,并提出提高个人和组织安全意识的有效方法。我们的目标是通过知识分享,为读者提供一套全面的网络安全自保策略。
|
2天前
|
安全 网络安全 数据安全/隐私保护
网络安全与信息安全:保护你的数据,保护你的未来
【5月更文挑战第14天】在数字化的世界中,网络安全和信息安全是我们生活的基石。本文将深入探讨网络安全漏洞、加密技术以及安全意识等方面,以期帮助读者更好地理解和应对网络安全威胁。我们将从网络安全的基本概念出发,分析常见的网络攻击手段,然后介绍加密技术的基本原理和应用。最后,我们将讨论如何提高个人和企业的安全意识,以应对日益严峻的网络安全形势。
|
2天前
|
Linux 开发工具
【项目--Hi3559A】如何在Hi3559A上运行自己的yolov3模型(修改类别、网络结构)
【项目--Hi3559A】如何在Hi3559A上运行自己的yolov3模型(修改类别、网络结构)
9 0
|
2天前
|
机器学习/深度学习 自然语言处理 网络安全
【pkuseg】由于网络策略组织下载请求,因此直接在github中下载细分领域模型medicine
【pkuseg】由于网络策略组织下载请求,因此直接在github中下载细分领域模型medicine
7 1
|
2天前
|
网络协议 Linux 网络架构
|
2天前
|
域名解析 网络协议 Linux
linux网络配置详解
linux网络配置详解
19 0
|
2天前
|
网络协议 Java Linux
【探索Linux】P.29(网络编程套接字 —— 简单的TCP网络程序模拟实现)
【探索Linux】P.29(网络编程套接字 —— 简单的TCP网络程序模拟实现)
14 0
|
2天前
|
存储 网络协议 算法
【探索Linux】P.28(网络编程套接字 —— 简单的UDP网络程序模拟实现)
【探索Linux】P.28(网络编程套接字 —— 简单的UDP网络程序模拟实现)
15 0

热门文章

最新文章