python数据挖掘之K-Means 二分K-means K-means++ 以及DBSCAN算法的实战应用(超详细必看)

简介: python数据挖掘之K-Means 二分K-means K-means++ 以及DBSCAN算法的实战应用(超详细必看)
+关注继续查看

二分K-means以及K-means++是K-means的两种变体,可以解决K-means算法质心敏感,过拟合等等问题


运行环境是anaconda+pytorch


项目结构如下

1666444147534.jpg

scutVec.npy中存放数据集


main函数中你可以用不同的方法去跑不同的数据集来观察他们之间的区别


其他几个python文件的代码请点赞关注收藏请评论区留言


main函数代码如下


import numpy as np
from sklearn.preprocessing import StandardScaler, MinMaxScaler
import matplotlib.pyplot as plt
import sklearn.datasets as datasets
import DBSCAN
import KMeansRelevant
def show_cluster_result(cluster, normal_data, cluster_method):
    # 第一幅图展示原始图
    plt.figure(figsize=(24, 10), dpi=80)
    plt.subplot(1, 2, 1)
    plt.scatter(normal_data[:, 0], normal_data[:, 1], color='black')
    plt.title('raw graph')
    # 第二幅图聚类结果
    plt.subplot(1, 2, 2)
    plt.scatter(normal_data[:, 0], normal_data[:, 1], c=cluster, marker='o')
    plt.title(cluster_method)
    plt.legend(labels=['x', 'y'])
    plt.show()
def show_K_dis(data, K):
    distance = DBSCAN.k_nearest_neighbour_distance(dataSet, K)
    x = [i for i in range(distance.shape[0])]
    plt.scatter(x, distance)
    plt.title("Points Sorted by Distance to %ith Nearest Neighbor" % K)
    plt.legend()
    plt.show()
scutJPG = np.load("scutVec.npy")  # 窝工校徽
n_samples = 2500
noisy_circles, _ = datasets.make_circles(n_samples=n_samples, factor=0.5, noise=0.05,random_state=8)
noisy_moons, _ = datasets.make_moons(n_samples=n_samples, noise=0.05,random_state=8)
blobs, _ = datasets.make_blobs(n_samples=n_samples, random_state=8)
# 1,选择不同的数据集
dataSet = scutJPG  # ['noisy_circles', 'noisy_moons', 'blobs', 'scutJPG']
# 2, 对数据进行处理
scaler = StandardScaler()
normal_data = scaler.fit_transform(dataSet)
# 3, 选择并运行聚类算法
cluster_method = "kMeans"  # ['kMeans', 'biKMeans', 'kMeans++', 'DBSCAN']
if cluster_method == "DBSCAN":
    # DBSCAN的参数设置与运行, 请根据K-dis图像来获得大致的eps值
    min_pts = 8
    # 查看k-dist
    show_K_dis(normal_data, min_pts)
    eps = 0.08  # 0.09
    cluster = DBSCAN.dbscan(normal_data, eps, min_pts)
elif cluster_method == "biKMeans":  # 运行二分K-means算法,请指定k值
    cluster = KMeansRelevant.biKMeans(normal_data, 10)
elif cluster_method == "kMeans++":  # 运行K-means++算法,请指定k值
    cluster = KMeansRelevant.kMeansPP(normal_data, 10)
else: # 默认其他跑KMeans
    cluster = KMeansRelevant.origin_kMeans(normal_data, 10)
# 4, 输出聚类结果
num = cluster.max(0)
print("cluster num is:", num + 1)
show_cluster_result(cluster, normal_data, cluster_method)

运行结果如下

1666444162017.jpg

结果可视化如下

1666444187938.jpg

1666444195473.jpg

1666444208234.jpg

需要完整代码和数据集请点赞关注收藏后评论区留言


相关文章
|
5天前
|
数据采集 数据可视化 数据挖掘
Python数据挖掘实用案例——自动售货机销售数据分析与应用(一)
Python数据挖掘实用案例——自动售货机销售数据分析与应用
|
5天前
|
机器学习/深度学习 安全 数据挖掘
Python数据挖掘实用案例——自动售货机销售数据分析与应用(三)
Python数据挖掘实用案例——自动售货机销售数据分析与应用(三)
|
5天前
|
数据可视化 数据挖掘 Python
Python数据挖掘实用案例——自动售货机销售数据分析与应用(二)
Python数据挖掘实用案例——自动售货机销售数据分析与应用(二)
|
5天前
|
机器学习/深度学习 算法 数据挖掘
数据挖掘:Python数据分析中的高级技术点
数据挖掘:Python数据分析中的高级技术点
44 0
|
21天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python数据分析与数据挖掘:解析数据的力量
Python数据分析与数据挖掘:解析数据的力量
|
3月前
|
存储 JSON 数据挖掘
Python数据挖掘Pandas2
Python数据挖掘Pandas2
25 0
|
3月前
|
存储 数据挖掘 索引
Python数据挖掘Pandas1
Python数据挖掘Pandas1
27 0
|
4月前
|
机器学习/深度学习 数据挖掘 调度
【数据挖掘torch】 基于LSTM电力系统负荷预测分析(Python代码实现)
【数据挖掘torch】 基于LSTM电力系统负荷预测分析(Python代码实现)
|
数据挖掘 数据安全/隐私保护 索引
数据挖掘导论——Python练习
数据挖掘导论——Python练习
196 0
数据挖掘导论——Python练习
|
机器学习/深度学习 Ubuntu 前端开发
数据挖掘基础学习一:VMware虚拟机Ubuntu上安装Python和IPython Notebook(Jupyter Notebook)完整步骤及需要注意的问题(以ubuntu-18.04.3为例)
数据挖掘基础学习一:VMware虚拟机Ubuntu上安装Python和IPython Notebook(Jupyter Notebook)完整步骤及需要注意的问题(以ubuntu-18.04.3为例)
519 0
数据挖掘基础学习一:VMware虚拟机Ubuntu上安装Python和IPython Notebook(Jupyter Notebook)完整步骤及需要注意的问题(以ubuntu-18.04.3为例)
热门文章
最新文章
推荐文章
更多