Python实现DBSCAN膨胀聚类模型(DBSCAN算法)项目实战

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
模型训练 PAI-DLC,100CU*H 3个月
简介: Python实现DBSCAN膨胀聚类模型(DBSCAN算法)项目实战

说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取。

image.png

image.png

1.项目背景

DBSCAN(Density-Based Spatial Clustering of Applications with Noise,具有噪声的基于密度的聚类方法)是一种基于密度的空间聚类算法。该算法将具有足够密度的区域划分为簇,并在具有噪声的空间数据库中发现任意形状的簇,DBSCAN算法将“簇”定义为密度相连的点的最大集合。

DBSCAN算法是密度聚类算法,所谓密度聚类算法就是说这个算法是,根据样本的紧密程度来进行聚类。

2.数据获取

本次建模数据来源于网络(本项目撰写人整理而成),数据项统计如下

数据详情如下(部分展示):

编号

字段

备注

1

x1

 

2

x2

 

3

x3

 

4

x4

 

5

x5

 

6

x6

 

7

y

 

部分数据展示:

image.png

3.数据预处理

3.1 用Pandas工具查看数据

使用Pandas工具的head()方法查看前五行数据:

image.png

从上图可以看到,总共有7个字段。

关键代码:

image.png

3.2缺失值统计

使用Pandas工具的info()方法统计每个特征缺失情况:

image.png

从上图可以看到,数据不存在缺失值,总数据量为1000条。

关键代码:

image.png

3.3变量描述性统计分析

通过Pandas工具的describe()方法来来统计变量的平均值、标准差、最大值、最小值、分位数等信息:

image.png

关键代码如下:

image.png

 

4.探索性数据分析

4.1.绘制散点图

通过Matplotlib工具针对x1 x2两个特征绘制分类散点图,如下图所示:

image.png

4.2 相关性分析

通过Pandas工具的corr()方法和seaborn工具的heatmap()方法绘制相关性热力图:

image.png

从图中可以看到,正数为正相关,负数为负相关,绝对值越大相关性越强。

5.特征工程

5.1 建立特征数据和标签数据

y为标签数据,除y之外的为特征数据。关键代码如下:

image.png

5.2 数据标准化

sklearn包下的StandardScaler函数进行特征数据的标准化,关键代码如下:

image.png

 

6.构建聚类模型

主要使用DBSCAN聚类算法,用于目标聚类分析。 

6.1 建立DBSCAN聚类模型

编号

模型名称

参数

1

DBSCAN聚类模型

eps=0.3

2

min_samples=10

6.2 获取聚类类别数和噪声样本数

image.png

关键代码如下:

image.png

7.模型评估

7.1评估指标及结果 

评估指标主要包括聚类结果同质性、完整性、调和平均值、调整的兰德系数、互信息、轮廓系数等等。

模型名称

指标名称

指标值

数据集

DBSCAN聚类模型

聚类结果同质性

0.975

聚类结果完整性

0.899

同质性和完整性之间的调和平均值

0.936

调整的兰德系数

0.961

调整的互信息

0.935

轮廓系数

0.777

通过上表可以看到,整体的模型效果良好。

 

7.2 聚类结果可视化

image.png

从上图可以看到,聚成了3类,黑色的点代表有噪声的聚类标签样本。

8.结论与展望

综上所述,本项目采用DBSCAN聚类算法进行聚类,最终证明了我们提出的模型效果良好,可用于日常生活中进行建模预测,以提高生产价值。

# 本次机器学习项目实战所需的资料,项目资源如下:
 
# 项目说明:
 
# 获取方式一:
 
# 项目实战合集导航:
 
https://docs.qq.com/sheet/DTVd0Y2NNQUlWcmd6?tab=BB08J2
 
# 获取方式二:
 

链接:https://pan.baidu.com/s/1TyMNQbTFJMgfjB1IlBHekA 
提取码:81hc
相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
目录
打赏
0
1
1
0
48
分享
相关文章
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
本文探讨了金融资产波动率建模中的三种主流方法:GARCH、GJR-GARCH和HAR模型,基于SPY的实际交易数据进行实证分析。GARCH模型捕捉波动率聚类特征,GJR-GARCH引入杠杆效应,HAR整合多时间尺度波动率信息。通过Python实现模型估计与性能比较,展示了各模型在风险管理、衍生品定价等领域的应用优势。
511 66
金融波动率的多模型建模研究:GARCH族与HAR模型的Python实现与对比分析
使用Python实现智能食品消费偏好预测的深度学习模型
使用Python实现智能食品消费偏好预测的深度学习模型
193 23
使用Python实现智能食品消费需求分析的深度学习模型
使用Python实现智能食品消费需求分析的深度学习模型
130 21
使用Python实现智能食品消费习惯预测的深度学习模型
使用Python实现智能食品消费习惯预测的深度学习模型
224 19
使用Python实现智能食品消费趋势分析的深度学习模型
使用Python实现智能食品消费趋势分析的深度学习模型
197 18
使用Python实现智能食品消费模式预测的深度学习模型
使用Python实现智能食品消费模式预测的深度学习模型
126 2
基于和声搜索优化算法的机器工作调度matlab仿真,输出甘特图
本程序基于和声搜索优化算法(Harmony Search, HS),实现机器工作调度的MATLAB仿真,输出甘特图展示调度结果。算法通过模拟音乐家即兴演奏寻找最佳和声的过程,优化任务在不同机器上的执行顺序,以最小化完成时间和最大化资源利用率为目标。程序适用于MATLAB 2022A版本,运行后无水印。核心参数包括和声记忆大小(HMS)等,适应度函数用于建模优化目标。附带完整代码与运行结果展示。
基于AES的遥感图像加密算法matlab仿真
本程序基于MATLAB 2022a实现,采用AES算法对遥感图像进行加密与解密。主要步骤包括:将彩色图像灰度化并重置大小为256×256像素,通过AES的字节替换、行移位、列混合及轮密钥加等操作完成加密,随后进行解密并验证图像质量(如PSNR值)。实验结果展示了原图、加密图和解密图,分析了图像直方图、相关性及熵的变化,确保加密安全性与解密后图像质量。该方法适用于保护遥感图像中的敏感信息,在军事、环境监测等领域具有重要应用价值。
基于免疫算法的最优物流仓储点选址方案MATLAB仿真
本程序基于免疫算法实现物流仓储点选址优化,并通过MATLAB 2022A仿真展示结果。核心代码包括收敛曲线绘制、最优派送路线规划及可视化。算法模拟生物免疫系统,通过多样性生成、亲和力评价、选择、克隆、变异和抑制机制,高效搜索最优解。解决了物流仓储点选址这一复杂多目标优化问题,显著提升物流效率与服务质量。附完整无水印运行结果图示。
基于免疫算法的最优物流仓储点选址方案MATLAB仿真

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等