sas神经网络:构建人工神经网络模型来识别垃圾邮件

简介: sas神经网络:构建人工神经网络模型来识别垃圾邮件

神经网络是一种非常通用的灵活预测模型,可用于解决各种问题,包括分类,降维和回归。

现实世界中的一些业务应用示例包括图像处理,医疗诊断,金融服务和欺诈检测。此样本说明如何使用SAS®In-Memory Statistics中的NEURAL语句来构建人工神经网络模型来识别垃圾邮件。该示例中使用的数据集是机器学习存储库中的经典Spambase数据集。请注意,SAS®内存中统计信息具有直接将数据直接从URL加载到内存中的功能,而无需保存到磁盘,如示例所示。该示例还演示了如何执行以下任务:

1.对从不同点开始的几个“浅”神经网络进行预训练,以避免创建由于初始权重差而无效的神经网络。

2.从预训练的神经网络中选择最佳的神经网络,然后继续分析以训练更深的神经网络作为最终模型。

3.使用最终的神经网络模型对验证数据集评分。

4.使用评分结果和ASSESS语句执行模型评估。

5.根据ASSESS语句的结果绘制升力和ROC曲线。




data mylasr.spambase;
infile "&base/spambase/spambase.data" device=url dsd dlm=',';
input Make Address All _3d Our Over Remove Internet Order Mail Receive
Will People Report Addresses Free Business Email You Credit Your Font
_000 Money Hp Hpl George _650 Lab Labs Telnet _857 Data _415 _85
Technology _1999 Parts Pm Direct Cs Meeting Original Project Re Edu
Table Conference Semicol Paren Bracket Bang Dollar Pound Cap_Avg
Cap_Long Cap_Total Class;
run;


proc imstat;

1.从不同点到预训练几个“浅”神经网络,避免创建因初始值不佳而无效的神经网络。




/*input */ input=(make--cap_total) std=std
/*target*/ targetact=softmax targetcomb=linear error=entropy nominal=class
/*hidden*/ hiddens=(10) act=(logistic) combine=(linear)
/*prelim*/ numtries=5 maxiter=10 tech=congra
/*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

2.从预训练的神经网络中选择最佳的神经网络,然后继续分析以训练更深层的神经网络作为最终模型。




/*NLOP  */ maxfunc=1000000 linesearch=2 fconv=1e-4 lower=-20 upper=20;

3.使用经过训练的神经网络模型对分数进行验证。ASSESS选项指定为所有级别的得分数据添加预测概率标称目标变量。在此示例中,创建了两个级别,因为名为class的变量具有两个值0或1。计分的数据为存储在临时表中。




input = (make--cap_total) nominal=class temptable assess vars = (class);

4.使用评分结果执行模型评估。所有级别的概率都在输出中,但是我们仅需要事件级别的概率。WHERE子句仅用于选择具有事件级别的行。剥离功能适用于删除字符变量_NN_Level_中的空格。

5.根据ASSESS语句的结果绘制升力和ROC曲线。




proc sgplot data=rocdata;
series x = one_minus_Specificity y = Sensitivity / lineattrs=(color=blue);
series x = one_minus_Specificity y = one_minus_Specificity / lineattrs=(color=black);
yaxis grid;
run;
quit;

模型信息表

分数信息表


提升曲线


ROC 曲线

 

 

相关文章
|
1月前
|
机器学习/深度学习
大模型开发:解释卷积神经网络(CNN)是如何在图像识别任务中工作的。
**CNN图像识别摘要:** CNN通过卷积层提取图像局部特征,池化层减小尺寸并保持关键信息,全连接层整合特征,最后用Softmax等分类器进行识别。自动学习与空间处理能力使其在图像识别中表现出色。
24 2
|
1月前
|
人工智能 自动驾驶 机器人
ICLR 2024:模型选择驱动的鲁棒多模态模型推理
【2月更文挑战第24天】ICLR 2024:模型选择驱动的鲁棒多模态模型推理
21 1
ICLR 2024:模型选择驱动的鲁棒多模态模型推理
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
NNLM - 神经网络语言模型 | 高效的单词预测工具
NNLM - 神经网络语言模型 | 高效的单词预测工具
40 1
|
3月前
|
机器学习/深度学习 算法 计算机视觉
AIGC基础模型——生成对抗神经网络(GAN)
【1月更文挑战第23天】AIGC基础模型——生成对抗神经网络(GAN)
65 1
AIGC基础模型——生成对抗神经网络(GAN)
|
4月前
|
机器学习/深度学习 自然语言处理 算法
【Tensorflow深度学习】优化算法、损失计算、模型评估、向量嵌入、神经网络等模块的讲解(超详细必看)
【Tensorflow深度学习】优化算法、损失计算、模型评估、向量嵌入、神经网络等模块的讲解(超详细必看)
56 1
|
8月前
|
机器学习/深度学习 算法
实验2 神经网络实现分类【机器学习】
实验2 神经网络实现分类【机器学习】
41 0
|
11月前
|
机器学习/深度学习 PyTorch 测试技术
【Pytorch神经网络实战案例】28 GitSet模型进行步态与身份识别(CASIA-B数据集)
该数据集是一个大规模的、多视角的步态库。其中包括124个人,每个人有11个视角(0,18,36,...,180),在3种行走条件(普通、穿大衣、携带包裹)下采集。
325 0
|
11月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【Pytorch神经网络实战案例】29 【代码汇总】GitSet模型进行步态与身份识别(CASIA-B数据集)
【Pytorch神经网络实战案例】29 【代码汇总】GitSet模型进行步态与身份识别(CASIA-B数据集)
194 0
|
11月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【Pytorch神经网络实战案例】25 (带数据增强)基于迁移学习识别多种鸟类(CUB-200数据集)
在目前分类效果最好的EficientNet系列模型中,EfficientNet-B7版本的模型就是使用随机数据增强方法训练而成的。
304 0
|
11月前
|
机器学习/深度学习 PyTorch 算法框架/工具
【Pytorch神经网络实战案例】24 基于迁移学习识别多种鸟类(CUB-200数据集)
迁移学习指将在一个任务上训练完成的模型进行简单的修改,再用另一个任务的数据继续训练,使之能够完成新的任务。
512 0

热门文章

最新文章