K-近邻算法(KNN)

简介: 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

一、原理

1.定义

如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

2. 距离公式

两个样本的距离可以通过如下公式计算,又叫欧式距离

2345_image_file_copy_65.jpg

3.举例分析

电影类型分析 假设我们有现在几部电影

image.png

其中? 号电影不知道类别,如何去预测?我们可以利用K近邻算法的思想, 利用对应特征与已知几个电影特征的距离来判断属于哪一类别。

image.png

二、API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

部分参数讲解:

n_neighbors:int,可选(默认= 5),KNN算法查询默认使用的邻居数

algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’},可选用于计算最近邻居的算法:‘ball_tree’将会使用 BallTree,‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

三、实际案例:预测签到位置

1.题目要求

2345_image_file_copy_66.jpg

数据介绍:将根据用户的位置,准确性和时间戳预测用户正在查看的业务。

train.csv,test.csv

row_id:登记事件的ID

xy:坐标

准确性:定位准确性

时间:时间戳

place_id:业务的ID,这是您预测的目标

官网:https://www.kaggle.com/navoshta/grid-knn/data

2.分析

对于数据做一些基本处理(这里所做的一些处理不一定达到很好的效果,我们只是简单尝试,有些特征我们可以根据一些特征选择的方式去做处理)

1、缩小数据集范围 DataFrame.query()

2、 删除没用的日期数据 DataFrame.drop(可以选择保留)

3、 将签到位置少于n个用户的删除

3.代码

2345_image_file_copy_67.jpg

四、K近邻方法总结

优点:

简单,易于理解,易于实现,无需训练

缺点:

懒惰算法,对测试样本分类时的计算量大,内存开销大必须指定K值,K值选择不当则分类精度不能保证

使用场景:

小数据场景,几千~几万样本,具体场景具体业务去测试

目录
相关文章
|
6月前
|
机器学习/深度学习 资源调度 算法
基于入侵野草算法的KNN分类优化matlab仿真
本程序基于入侵野草算法(IWO)优化KNN分类器,通过模拟自然界中野草的扩散与竞争过程,寻找最优特征组合和超参数。核心步骤包括初始化、繁殖、变异和选择,以提升KNN分类效果。程序在MATLAB2022A上运行,展示了优化后的分类性能。该方法适用于高维数据和复杂分类任务,显著提高了分类准确性。
|
11月前
|
机器学习/深度学习 算法 API
机器学习入门(五):KNN概述 | K 近邻算法 API,K值选择问题
机器学习入门(五):KNN概述 | K 近邻算法 API,K值选择问题
|
11月前
|
机器学习/深度学习 算法
机器学习入门(三):K近邻算法原理 | KNN算法原理
机器学习入门(三):K近邻算法原理 | KNN算法原理
|
10月前
|
机器学习/深度学习 算法 Python
机器学习入门:理解并实现K-近邻算法
机器学习入门:理解并实现K-近邻算法
148 0
|
算法 Python
KNN
【9月更文挑战第11天】
171 13
|
算法 大数据
K-最近邻(KNN)
K-最近邻(KNN)
|
机器学习/深度学习 算法 数据挖掘
R语言中的支持向量机(SVM)与K最近邻(KNN)算法实现与应用
【9月更文挑战第2天】无论是支持向量机还是K最近邻算法,都是机器学习中非常重要的分类算法。它们在R语言中的实现相对简单,但各有其优缺点和适用场景。在实际应用中,应根据数据的特性、任务的需求以及计算资源的限制来选择合适的算法。通过不断地实践和探索,我们可以更好地掌握这些算法并应用到实际的数据分析和机器学习任务中。
knn增强数据训练
【7月更文挑战第27天】
115 10
knn增强数据训练
【7月更文挑战第28天】
151 2
|
机器学习/深度学习 存储 并行计算
C语言与机器学习:K-近邻算法实现
C语言与机器学习:K-近邻算法实现

热门文章

最新文章