随机森林填充缺失值、BP神经网络在亚马逊评论、学生成绩分析研究2案例合集2

简介: 随机森林填充缺失值、BP神经网络在亚马逊评论、学生成绩分析研究2案例合集

随机森林填充缺失值、BP神经网络在亚马逊评论、学生成绩分析研究2案例合集1:https://developer.aliyun.com/article/1501335


使用BP神经网络进行建模与应用分析

BP神经网络作为一种有效的机器学习工具,能够处理复杂的非线性关系,并在许多领域得到了广泛应用。本文首先介绍了BP神经网络的基本原理,然后详细描述了使用BP神经网络进行建模的步骤,并通过绘制原始数据和拟合数据的图形对比,以及分类混淆矩阵的分析,对建模结果进行了评估。

相关视频

image.png


我们使用了数据集data2,其中包含多个特征变量和一个目标变量V10001。首先,我们将特征变量提取出来作为训练数据train,并将目标变量作为目标值targets

train=data2[,c("V3351" ,"V6732" , "V7121" , "V7892" ,"V8822" ,"V9466" )]  
targets=data2$V10001

数据处理

为了将目标值转换为适合神经网络处理的形式,我们使用class.ind()函数将其转换为指示矩阵。这样,每个目标值都被表示为一个长度为类别数的向量,其中对应类别的位置为1,其余位置为0。

#使用神经网络对训练结果进行集成  
 targets=class.ind(targets)

建立BP神经网络模型

我们使用nnet()函数建立BP神经网络模型。该函数允许我们指定网络的大小(即隐藏层神经元数量)以及其他参数。在本例中,我们设置隐藏层神经元数量为2,并允许网络进行多次迭代以达到收敛。

bcafb7382d363b03e808e692caf64f2b.png

模型评估

通过summary()函数,我们可以查看模型的详细信息,包括网络结构、权重和训练过程中的收敛情况等。此外,我们还绘制了原始数据和拟合数据的图形对比,以直观展示模型的拟合效果。最后,我们计算了分类混淆矩阵,以评估模型在分类任务上的性能。

#绘制拟合数据  
  
points(train[,"V3[1:nrow(train)] , col = "red", pch=4)
 tab=table(pre,train[,"V3351"])#分类混淆矩阵  
 tab

348dd35332c2173437e6cda8baf05c72.png

结果与讨论

通过BP神经网络模型的建立和评估,我们得到了以下结果:

  • 模型结构为一个6-2-50的网络,共有164个权重。
  • 在训练过程中,初始值较大,但经过多次迭代后逐渐收敛到一个较小的值。
  • 通过绘制原始数据和拟合数据的图形对比,我们发现模型能够较好地拟合原始数据的变化趋势。
  • 分类混淆矩阵显示,模型在分类任务上具有一定的准确性,但仍然存在一些误分类的情况。这可能是由于数据噪声、模型复杂度不足或训练数据不足等原因导致的。

需要注意的是,BP神经网络的性能受到多种因素的影响,包括网络结构、训练算法、学习率等。在实际应用中,我们需要根据具体问题选择合适的参数和配置,以获得更好的建模效果。

案例2:R语言中的BP神经网络模型分析学生成绩

在本教程中,您将学习如何在R中创建神经网络模型。

神经网络(或人工神经网络)具有通过样本进行学习的能力。人工神经网络是一种受生物神经元系统启发的信息处理模型。它由大量高度互连的处理元件(称为神经元)组成,以解决问题。它遵循非线性路径,并在整个节点中并行处理信息。神经网络是一个复杂的自适应系统。自适应意味着它可以通过调整输入权重来更改其内部结构。

该神经网络旨在解决人类容易遇到的问题和机器难以解决的问题,例如识别猫和狗的图片,识别编号的图片。这些问题通常称为模式识别。它的应用范围从光学字符识别到目标检测。

本教程将涵盖以下主题:

  • 神经网络概论
  • 正向传播和反向传播
  • 激活函数
  • R中神经网络的实现
  • 案例
  • 利弊
  • 结论

神经网络概论

神经网络是受人脑启发执行特定任务的算法。它是一组连接的输入/输出单元,其中每个连接都具有与之关联的权重。在学习阶段,网络通过调整权重进行学习,来预测给定输入的正确类别标签。

人脑由数十亿个处理信息的神经细胞组成。每个神经细胞都认为是一个简单的处理系统。被称为生物神经网络的神经元通过电信号传输信息。这种并行的交互系统使大脑能够思考和处理信息。一个神经元的树突接收来自另一个神经元的输入信号,并根据这些输入将输出响应到某个其他神经元的轴突。

0e84890bef088e0c3f1d02b0ccc9550b.png

树突接收来自其他神经元的信号。单元体将所有输入信号求和以生成输出。当总和达到阈值时通过轴突输出。突触是神经元相互作用的一个点。它将电化学信号传输到另一个神经元。

5778c73e74f2df3227da780a4cfcc6b5.png

28f171a246e4e0d4b694abdd2b4b173a.png

x1,x2 .... xn是输入变量。w1,w2 .... wn是各个输入的权重。b是偏差,将其与加权输入相加即可形成输入。偏差和权重都是神经元的可调整参数。使用一些学习规则来调整参数。神经元的输出范围可以从-inf到+ inf。神经元不知道边界。因此,我们需要神经元的输入和输出之间的映射机制。将输入映射到输出的这种机制称为激活函数。

前馈和反馈人工神经网络

人工神经网络主要有两种类型:前馈和反馈人工神经网络。前馈神经网络是非递归网络。该层中的神经元仅与下一层中的神经元相连,并且它们不形成循环。在前馈中,信号仅在一个方向上流向输出层。

反馈神经网络包含循环。通过在网络中引入环路,信号可以双向传播。反馈周期会导致网络行为根据其输入随时间变化。反馈神经网络也称为递归神经网络。


bc0bc99ee232277aa69f2b0c3ccc0cba.png

激活函数

激活函数定义神经元的输出。激活函数使神经网络具有非线性和可表达性。有许多激活函数:

  • 识别函数 通过激活函数 Identity,节点的输入等于输出。它完美拟合于潜在行为是线性(与线性回归相似)的任务。当存在非线性,单独使用该激活函数是不够的,但它依然可以在最终输出节点上作为激活函数用于回归任务。。
  • 在 二元阶梯函数(Binary Step Function)中,如果Y的值高于某个特定值(称为阈值),则输出为True(或已激活),如果小于阈值,则输出为false(或未激活)。这在分类器中非常有用。
  • S形函数 称为S形函数。逻辑和双曲正切函数是常用的S型函数。有两种:
  • Sigmoid函数 是一种逻辑函数,其中输出值为二进制或从0到1变化。
  • tanh函数 是一种逻辑函数,其输出值在-1到1之间变化。也称为双曲正切函数或tanh。
  • ReLU函数又称为修正线性单元(Rectified Linear Unit),是一种分段线性函数,其弥补了sigmoid函数以及tanh函数的梯度消失问题。它是最常用的激活函数。对于x的负值,它输出0。

cfdd10e07b18a533c1062014380f6b9d.png

在R中实现神经网络

创建训练数据集

我们创建数据集。在这里,您需要数据中的两种属性或列:特征和标签。在上面显示的表格中,您可以查看学生的专业知识,沟通技能得分和学生成绩。因此,前两列(专业知识得分和沟通技能得分)是特征,第三列(学生成绩)是二进制标签。

#创建训练数据集
# 在这里,把多个列或特征组合成一组数据
test=data.frame(专业知识,沟通技能得分)让我们构建神经网络分类器模型。
首先,导入神经网络库,并通过传递标签和特征的参数集,数据集,隐藏层中神经元的数量以及误差计算来创建神经网络分类器模型。
``````
# 拟合神经网络
nn(成绩~专业知识+沟通技能得分, hidden=3,act.fct = "logistic",
                linear.output = FALSE)

这里得到模型的因变量、自变量、损失_函数、_激活函数、权重、结果矩阵(包含达到的阈值,误差,AIC和BIC以及每次重复的权重的矩阵)等信息:

$model.list
$model.list$response
[1] "成绩"
$model.list$variables
[1] "专业知识"     "沟通技能得分"
$err.fct
function (x, y) 
{
    1/2 * (y - x)^2
}
$act.fct
function (x) 
{
    1/(1 + exp(-x))
}
$net.result
$net.result[[1]]
            [,1]
[1,] 0.980052980
[2,] 0.001292503
[3,] 0.032268860
[4,] 0.032437961
[5,] 0.963346989
[6,] 0.977629865
$weights
$weights[[1]]
$weights[[1]][[1]]
           [,1]        [,2]       [,3]
[1,]  3.0583343  3.80801996 -0.9962571
[2,]  1.2436662 -0.05886708  1.7870905
[3,] -0.5240347 -0.03676600  1.8098647
$weights[[1]][[2]]
           [,1]
[1,]   4.084756
[2,]  -3.807969
[3,] -11.531322
[4,]   3.691784
$generalized.weights
$generalized.weights[[1]]
            [,1]       [,2]
[1,]  0.15159066 0.09467744
[2,]  0.01719274 0.04320642
[3,]  0.15657354 0.09778953
[4,] -0.46017408 0.34621212
[5,]  0.03868753 0.02416267
[6,] -0.54248384 0.37453006
$startweights
$startweights[[1]]
$startweights[[1]][[1]]
           [,1]        [,2]       [,3]
[1,]  0.1013318 -1.11757311 -0.9962571
[2,]  0.8583704 -0.15529112  1.7870905
[3,] -0.8789741  0.05536849  1.8098647
$startweights[[1]][[2]]
           [,1]
[1,] -0.1283200
[2,] -1.0932526
[3,] -1.0077311
[4,] -0.5212917
$result.matrix
                                  [,1]
error                      0.002168460
reached.threshold          0.007872764
steps                    145.000000000
Intercept.to.1layhid1      3.058334288
专业知识.to.1layhid1       1.243666180
沟通技能得分.to.1layhid1  -0.524034687
Intercept.to.1layhid2      3.808019964
专业知识.to.1layhid2      -0.058867076
沟通技能得分.to.1layhid2  -0.036766001
Intercept.to.1layhid3     -0.996257068
专业知识.to.1layhid3       1.787090472
沟通技能得分.to.1layhid3   1.809864672
Intercept.to.成绩          4.084755522
1layhid1.to.成绩          -3.807969087
1layhid2.to.成绩         -11.531321534
1layhid3.to.成绩           3.691783805

绘制神经网络

让我们绘制您的神经网络模型。

# 绘图神经网络
plot(nn)

2ebddef0bd9e612d4dcfb1a36d0ad60c.png

创建测试数据集

创建测试数据集:专业知识得分和沟通技能得分

# 创建测试集
test=data.frame(专业知识,沟通技能得分)

预测测试集的结果

使用计算函数预测测试数据的概率得分。

## 使用神经网络进行预测
Pred$result
0.9928202080
0.3335543925
0.9775153014

现在,将概率转换为二进制类。

# 将概率转换为设置阈值0.5的二进制类别
pred <- ifelse(prob>0.5, 1, 0)
pred
1
0
1

预测结果为1,0和1。

利弊

神经网络更灵活,可以用于回归和分类问题。神经网络非常适合具有大量输入(例如图像)的非线性数据集,可以使用任意数量的输入和层,可以并行执行工作。

还有更多可供选择的算法,例如SVM,决策树和回归算法,这些算法简单,快速,易于训练并提供更好的性能。神经网络更多的是黑盒子,需要更多的开发时间和更多的计算能力。与其他机器学习算法相比,神经网络需要更多的数据。NN仅可用于数字输入和非缺失值数据集。一位著名的神经网络研究人员说:  “神经网络是解决任何问题的第二好的方法。最好的方法是真正理解问题。”

神经网络的用途

神经网络的特性提供了许多应用方面,例如:

  • 模式识别: 神经网络非常适合模式识别问题,例如面部识别,物体检测,指纹识别等。
  • 异常检测: 神经网络擅长异常检测,它们可以轻松检测出不适合常规模式的异常模式。
  • 时间序列预测: 神经网络可用于预测时间序列问题,例如股票价格,天气预报。
  • 自然语言处理: 神经网络在自然语言处理任务中提供了广泛的应用,例如文本分类,命名实体识别(NER),词性标记,语音识别和拼写检查。


相关文章
|
2月前
|
机器学习/深度学习 数据采集 存储
时间序列预测新突破:深入解析循环神经网络(RNN)在金融数据分析中的应用
【10月更文挑战第7天】时间序列预测是数据科学领域的一个重要课题,特别是在金融行业中。准确的时间序列预测能够帮助投资者做出更明智的决策,比如股票价格预测、汇率变动预测等。近年来,随着深度学习技术的发展,尤其是循环神经网络(Recurrent Neural Networks, RNNs)及其变体如长短期记忆网络(LSTM)和门控循环单元(GRU),在处理时间序列数据方面展现出了巨大的潜力。本文将探讨RNN的基本概念,并通过具体的代码示例展示如何使用这些模型来进行金融数据分析。
327 2
|
15天前
|
机器学习/深度学习 算法 Serverless
基于WOA-SVM的乳腺癌数据分类识别算法matlab仿真,对比BP神经网络和SVM
本项目利用鲸鱼优化算法(WOA)优化支持向量机(SVM)参数,针对乳腺癌早期诊断问题,通过MATLAB 2022a实现。核心代码包括参数初始化、目标函数计算、位置更新等步骤,并附有详细中文注释及操作视频。实验结果显示,WOA-SVM在提高分类精度和泛化能力方面表现出色,为乳腺癌的早期诊断提供了有效的技术支持。
|
4天前
|
机器学习/深度学习 算法 Python
基于BP神经网络的金融序列预测matlab仿真
本项目基于BP神经网络实现金融序列预测,使用MATLAB2022A版本进行开发与测试。通过构建多层前馈神经网络模型,利用历史金融数据训练模型,实现对未来金融时间序列如股票价格、汇率等的预测,并展示了预测误差及训练曲线。
|
2月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于BP神经网络的苦瓜生长含水量预测模型matlab仿真
本项目展示了基于BP神经网络的苦瓜生长含水量预测模型,通过温度(T)、风速(v)、模型厚度(h)等输入特征,预测苦瓜的含水量。采用Matlab2022a开发,核心代码附带中文注释及操作视频。模型利用BP神经网络的非线性映射能力,对试验数据进行训练,实现对未知样本含水量变化规律的预测,为干燥过程的理论研究提供支持。
|
22天前
|
机器学习/深度学习 算法 关系型数据库
基于PSO-SVM的乳腺癌数据分类识别算法matlab仿真,对比BP神经网络和SVM
本项目展示了利用粒子群优化(PSO)算法优化支持向量机(SVM)参数的过程,提高了分类准确性和泛化能力。包括无水印的算法运行效果预览、Matlab2022a环境下的实现、核心代码及详细注释、操作视频,以及对PSO和SVM理论的概述。PSO-SVM结合了PSO的全局搜索能力和SVM的分类优势,特别适用于复杂数据集的分类任务,如乳腺癌诊断等。
|
2月前
|
机器学习/深度学习 算法 5G
基于BP神经网络的CoSaMP信道估计算法matlab性能仿真,对比LS,OMP,MOMP,CoSaMP
本文介绍了基于Matlab 2022a的几种信道估计算法仿真,包括LS、OMP、NOMP、CoSaMP及改进的BP神经网络CoSaMP算法。各算法针对毫米波MIMO信道进行了性能评估,通过对比不同信噪比下的均方误差(MSE),展示了各自的优势与局限性。其中,BP神经网络改进的CoSaMP算法在低信噪比条件下表现尤为突出,能够有效提高信道估计精度。
44 2
|
4月前
|
机器学习/深度学习 前端开发 数据挖掘
基于Python Django的房价数据分析平台,包括大屏和后台数据管理,有线性、向量机、梯度提升树、bp神经网络等模型
本文介绍了一个基于Python Django框架开发的房价数据分析平台,该平台集成了多种机器学习模型,包括线性回归、SVM、GBDT和BP神经网络,用于房价预测和市场分析,同时提供了前端大屏展示和后台数据管理功能。
115 9
|
5月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于负相关误差函数的4集成BP神经网络matlab建模与仿真
**算法预览:** 图像显示无水印的2022a版MATLAB运行结果 **软件版本:** MATLAB 2022a **核心代码片段:** 省略展示 **理论概述:** NCL集成BP网络利用负相关提升泛化,结合多个弱模型减少错误关联。通过λ参数控制模型间负相关程度,λ&gt;0增强集成效果,提高预测准确性和系统稳健性。
|
5月前
|
机器学习/深度学习 数据采集 监控
Python基于BP神经网络算法实现家用热水器用户行为分析与事件识别
Python基于BP神经网络算法实现家用热水器用户行为分析与事件识别
|
5月前
|
机器学习/深度学习 数据采集 自然语言处理
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)
Python实现循环神经网络SimpleRNN、LSTM进行淘宝商品评论情感分析(含爬虫程序)

热门文章

最新文章