Python实现支持向量机SVM分类模型(SVC算法)并应用网格搜索算法调优项目实战

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
简介: Python实现支持向量机SVM分类模型(SVC算法)并应用网格搜索算法调优项目实战

说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取。

image.png

image.png

1.项目背景

目前各大新闻网站很多,网站上的消息也是各式各样,本项目通过建立支持向量机分类模型进行新闻文本分类。

本项目使用SVC算法来解决分类问题。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成),数据项统计如下

新闻文本数据包含四类新闻,分别用0,1,2,3 表示;数据集包含训练集和测试集。

数据详情如下(部分展示):

image.png

image.png

image.png

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据:

image.png

关键代码:

image.png

3.2 统计每种新闻类型的数量

使用Pandas工具的grougby()方法统计每种新闻类型的数量:

image.png

从图中可以看到,类别为0的有987条数据,类别为1的有1436条数据,类别为2的有790条数据,类别为3的有263条数据。

4.探索性数据分析

4.1 词频柱状图

image.png

从图中可以看到,出现此频率最多的是:评论、中国、足球、体育等词。

4.2 词云图

image.png

通过上图可以看到,分词出现频率比较高是评论、皮肤、女性、中国、新浪、腾讯等,其中一些分词可以根据具体业务需要放入停用词中。

 

5.特征工程

5.1 文本向量化

image.png

上图中,括号内的代表文本行和分词索引,后面的代表词频逆文档频率。

关键代码:

image.png

 

5.2 构建特征和标签与数据集拆分

关键代码如下:

image.png

 

 

6.构建支持向量机分类模型

主要使用SVC算法,用于目标分类。

6.1 默认参数模型构建

image.png

从上图可以看到,支持向量机分类模型的准确率为0.9118,,F1分值为0.9024,默认参数构建的模型效果不错。

关键代码:

image.png

6.2 模型调优:应用网格搜索寻找最优参数值

使用网格搜索算法来寻找最优的参数值:

image.png

从上图可以看到,C参数最优值为10,gamma参数最优值为0.1

 

关键参数代码:

image.png  

6.3 最优参数建模

 

 

编号

模型名称

参数

1

SVM分类模型

C=10

2

gamma=0.1

 

7.模型评估 

7.1评估指标及结果

评估指标主要包括准确率、查准率、召回率、F1分值等等。 

模型名称

指标名称

指标值

测试集

SVM分类模型

准确率

0.9059

查准率

0.9195

召回率

0.9059

F1分值

0.9055

从上表可以看出,SVM分类模型比较优秀,效果非常好。

7.2 查看是否过拟合

查看训练集和测试集的分数:

image.png

通过结果可以看到,训练集分数和测试集分数基本一致,说明未过拟合。

关键代码:

image.png

7.3 混淆矩阵

SVM分类模型混淆矩阵:

 

image.png

从上图可以看到,实际值为0预测不为0的有5个;实际值为1预测不为1的有5个;实际值为2预测不为2的有6个;实际值为3预测不为3的有0个;这些是预测错误的,和总的测试集样本相比,错误预测还是相比对少的,在可接受的范围内。

7.4 分类报告

SVM分类模型分类报告:

image.png

从上图可以看到,分类类型为0的F1分值为0.80;分类类型为1的F1分值为0.94;分类类型为2的F1分值为0.90;分类类型为3的F1分值为0.77;整个模型的准确率为0.91

8.结论与展望

综上所述,本项目采用了SVM分类模型,最终证明了我们提出的模型效果良好。

# 本次机器学习项目实战所需的资料,项目资源如下:
 
# 项目说明:
 
# 获取方式一:
 
# 项目实战合集导航:
 
https://docs.qq.com/sheet/DTVd0Y2NNQUlWcmd6?tab=BB08J2
 
# 获取方式二:
 
链接:https://pan.baidu.com/s/101Ccg2mBJ4bSf7R0_Fn5sQ 
提取码:lybv
相关实践学习
机器学习算法(一): 基于逻辑回归的分类预测
基于逻辑回归的分类预测。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
4天前
|
机器学习/深度学习 数据可视化 算法框架/工具
使用Python实现深度学习模型:视频处理与动作识别
【7月更文挑战第16天】 使用Python实现深度学习模型:视频处理与动作识别
34 17
|
6天前
|
机器学习/深度学习 自然语言处理 TensorFlow
使用Python实现深度学习模型:文本生成与自然语言处理
【7月更文挑战第14天】 使用Python实现深度学习模型:文本生成与自然语言处理
34 12
|
3天前
|
机器学习/深度学习 编解码 算法框架/工具
使用Python实现深度学习模型:图像超分辨率与去噪
【7月更文挑战第17天】 使用Python实现深度学习模型:图像超分辨率与去噪
14 4
|
1天前
|
机器学习/深度学习 TensorFlow 语音技术
使用Python实现深度学习模型:语音合成与语音转换
【7月更文挑战第19天】 使用Python实现深度学习模型:语音合成与语音转换
15 1
|
2天前
|
机器学习/深度学习 监控 算法框架/工具
使用Python实现深度学习模型:人脸识别与人脸表情分析
【7月更文挑战第18天】 使用Python实现深度学习模型:人脸识别与人脸表情分析
13 2
|
3天前
|
供应链 Python
Demand Forecasting模型解释与Python代码示例
Demand Forecasting模型解释与Python代码示例
|
5天前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型:图像语义分割与对象检测
【7月更文挑战第15天】 使用Python实现深度学习模型:图像语义分割与对象检测
12 2
|
7天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
使用Python实现深度学习模型:图像风格迁移与生成
【7月更文挑战第13天】 使用Python实现深度学习模型:图像风格迁移与生成
12 2
|
9天前
|
机器学习/深度学习 数据采集 算法
Python实现WOA智能鲸鱼优化算法优化支持向量机分类模型(SVC算法)项目实战
Python实现WOA智能鲸鱼优化算法优化支持向量机分类模型(SVC算法)项目实战
|
8天前
|
机器学习/深度学习 安全 TensorFlow
使用Python实现深度学习模型:模型安全与防御
【7月更文挑战第12天】 使用Python实现深度学习模型:模型安全与防御
11 1

热门文章

最新文章