【学习】 R语言与机器学习学习笔记(1)K-近邻算法

简介:

前言

最近在学习数据挖掘,对数据挖掘中的算法比较感兴趣,打算整理分享一下学习情况,顺便利用R来实现一下数据挖掘算法。

数据挖掘里我打算整理的内容有:分类,聚类分析,关联分析,异常检测四大部分。其中分类算法主要介绍:K-近邻算法,决策树算法,朴素贝叶斯算法,支持向量机,神经网络,logistic回归。

写这份学习笔记主要以学校data mining课程的课件为主,会参考一堆的baidu,一堆的google,一堆的blog,一堆的book以及一堆乱七八糟的资料,由于精力有限,恕不能一一列出,如果有认为有侵权行为欢迎与我联系,保证及时删除。

这篇文章是我博客数据挖掘系列的第一篇文章,介绍分类算法中最基本的算法——k近邻算法。

算法一:K-近邻算法

原理及举例

工作原理:我们知道样本集中每一个数据与所属分类的对应关系,输入没有标签的新数据后,将新数据与训练集的数据对应特征进行比较,找出“距离”最近的k(通常k<20)数据,选择这k个数据中出现最多的分类作为新数据的分类。

算法描述:

(1) 计算已知类别数据及中的点与当前点的距离;

(2) 按距离递增次序排序

(3) 选取与当前点距离最小的k个点

(4) 确定前K个点所在类别出现的频率

(5) 返回频率最高的类别作为当前类别的预测

距离计算方法有”euclidean”(欧氏距离),”minkowski”(明科夫斯基距离), “maximum”(切比雪夫距离), “manhattan”(绝对值距离),”canberra”(兰式距离), 或 “minkowski”(马氏距离)等.

分析学的知识告诉我们Rn上范数之间是等价的,所以我们也没必要太过纠结选谁,毕竟范数之间都是可以相互控制的。

这里我们使用最常见欧氏距离作为衡量标准,以鸢尾花数据集为例来说明K-近邻算法:

鸢尾花数据集包含150个数据,测量变量为花瓣,花萼的长度与宽度,分类变量为setosa, versicolor, 和 virginica。


准备数据:

为了了解数据,我们先通过作图分析,相关分析来看看数据分类指标的合理性,这一点十分重要,有助于减少分类指标中的噪声。

从上图可以看出,我们通过这2个变量大致是可以把鸢尾花分类的,也就是说分类的特征变量选择是合理的,(同理可以分析另外2个,分类效果不如这两个,但大致上还是能区分的)当然我们也可以选择计算相关系数来看特征变量的合理性。

我们很容易发现,数值差最大的属性对距离的影响最大,所以在特征值等权重的假定下,我们先得归一化特征值,计算公式为:

Newvalue=(oldvalue-min)/(max-min)

(注:网友@ reus123指出归一化的提法不太合适,也的确如此,我们这里将本文的“归一化”理解为一种“标准化”就好,感谢@ reus123的指正

R代码:

[plain] view plaincopyprint?

  1. autonorm<-function(data){

  2. min<-min(data)

  3. max<-max(data)

  4. for(i in 1:length(data))

  5. data[i]<-(data[i]-min)/(max-min)

  6. return(data)

  7. }

  8. data<-apply(as.matrix(iris[,1:4]),2,autonorm)


(之前的程序有误,已更正,感谢@ reus123的指正

得到了归一化后的数据集,下面计算距离。我们在这里取三个数据作为验证集来看看分类的效果,首先将验证集归一化:

[plain] view plaincopyprint?

  1. x<-iris[13,1:4]

  2. y<-iris[79,1:4]

  3. z<-iris[100,1:4]

  4. x<-(x-apply(iris[c(-13,-79,-100),1:4],2,min))/(apply(iris[c(-13,-79,-100),1:4],2,max)-apply(iris[c(-13,-79,-100),1:4],2,min))

  5. y<-(y-apply(iris[c(-13,-79,-100),1:4],2,min))/(apply(iris[c(-13,-79,-100),1:4],2,max)-apply(iris[c(-13,-79,-100),1:4],2,min))

  6. z<-(z-apply(iris[c(-13,-79,-100),1:4],2,min))/(apply(iris[c(-13,-79,-100),1:4],2,max)-apply(iris[c(-13,-79,-100),1:4],2,min))

计算距离,仅以Z为例,运行代码:(k取5)

[plain] view plaincopyprint?

  1. dis<-rep(0,length(data[,1]))

  2. for(iin 1:length(data[,1]))

  3. dis[i]<-sqrt(sum((z-data[i,1:4])^2))

  4. table(data[order(dis)[1:5],5])

x,y,z的输出结果可以看到,分类完全正确,没有错误分类。

值得一提的是,我们用同样的办法计算K=3时的情形,会发现没有出现误分类。这也就引出了一个值得思考的问题:k应该如何选取?k过小,噪声对分类的影响就会变得非常大,K过大,那么包含错误就理所当然,误分类也不足为奇。虽然这里我们对K的取值并未进行讨论,但在实际中,我们应该通过交叉验证的办法来确定k值

R语言内置函数kknn简介

R语言里的kknn包也可以实现最邻近算法——使用kknn函数。

kknn(formula = formula(train),train, test, na.action = na.omit(),

k= 7, distance = 2, kernel = “optimal”, ykernel = NULL, scale=TRUE,

contrasts= c(‘unordered’ = “contr.dummy”, ordered =”contr.ordinal”))

参数解释:

formula 一个回归模型,具体为:分类变量~特征变量

train 训练集

test 测试集

na.action 缺失值处理,默认为去掉缺失值

k k值选择,默认为7

distance 这个是明科夫斯基距离,p=2时为欧氏距离

其他参数 略

上面的鸢尾花例子使用kknn包可以实现(k=5):

[plain] view plaincopyprint?

  1. library(kknn)

  2. data(iris)

  3. m <- dim(iris)[1]

  4. val <- sample(1:m, size =round(m/3), replace = FALSE,

  5. prob= rep(1/m, m))

  6. iris.learn <- iris[-val,]

  7. iris.valid <- iris[val,]

  8. iris.kknn <- kknn(Species~.,iris.learn, iris.valid, distance = 5,

  9. kernel= “triangular”)

  10. summary(iris.kknn)

  11. fit <- fitted(iris.kknn)

  12. table(iris.valid$Species, fit)

这里我们的训练集选取更随机化,得到结果是:

fit

setosa versicolor virginica

setosa 12 0 0

versicolor 0 22 0

virginica 0 0 16

分类完全正确。

应用举例:手写数字识别

下面我们来做一个规模大一些的数据处理,利用k-近邻实现一下数字的模式识别。这个例子来自《机器学习实战》,具体数据集已上传至百度云盘(点击这里下载)。数据为了简单起见,仅提供0~9,10个数字的识别。需要识别的数字你可以看做是被图像处理软件处理为了32*32的黑白图像。尽管文本格式储存图片不能够有效地利用存储空间,但是为了方便理解还是提供了这个文本版的图片数据。至于图像版本的数据,你可以找到《手写数字的光学识别》一文(登载于2010年的UCI机器学习资料库中)的数据集合,并下载它。

完整的R实现:

[plain] view plaincopyprint?

  1. setwd(“D:/R/data/digits/trainingDigits”)

  2. names<-list.files(“D:/R/data/digits/trainingDigits”)

  3. data<-paste(“train”,1:1934,sep=””)

  4. for(i in 1:length(names))

  5. assign(data[i],as.matrix(read.fwf(names[i],widths=rep(1,32))))

  6. dis<-function(datatest,datatrain,len){

  7. distance<-rep(0,len)

  8. for(i in 1:len)

  9. distance[i]<-sqrt(sum((get(datatest)-get(datatrain[i]))^2))

  10. return((distance))

  11. }

  12. judge<-function(test,data,names){

  13. index<-rep(0:9,c(189,198,195,199,186,187,195,201,180,204))

  14. di<-rep(0,1934)

  15. di[1:1934]<-dis(test,data,length(names))

  16. return(names(which.max(table(index[order(di)[1:5]]))))

  17. }

  18. setwd(“D:/R/data/digits/testDigits”)

  19. name<-list.files(“D:/R/data/digits/testDigits”)

  20. test<-paste(“test”,1:946,sep=””)

  21. for(i in 1:length(name))

  22. assign(test[i],as.matrix(read.fwf(name[i],widths=rep(1,32))))

  23. index1<-rep(0:9,c(87,97,92,85,114,108,87,96,91,89))

  24. error<-0

  25. for(i in 1:946){

  26. if(judge(test[i],data,names)!=index1[i])

  27. error<-error+1

  28. }

运行结果:

>error

[1]19

>19/946

[1]0.02008457

也就是说,使用5-近邻算法,误差率为2%,属于一个可以接受的范围。

这里由于本人没有找到较好的批量导入数据的办法,所以代码有些复杂,也出现了hardcode和magicnumber的毛病,但是泛化也不是那么的复杂,所以也没再做更进一步的改进。希望读者告诉我如何解决R里导入批量数据的方法。

其中有两个函数是我在之前的博客中没有使用过的,现在简单介绍如下:

赋值函数assign:

assign(“x”, c(10.4, 5.6, 3.1, 6.4, 21.7)) 与x <- c(10.4,5.6, 3.1, 6.4, 21.7)等价

读取赋值函数的函数get:

a<- 1:4

assign(“a[1]“,2)

a[1]== 2 #FALSE

get(“a[1]“) == 2 #TRUE

在R中,我没有找到求众数的函数,简单编写了一个names(which.max(table(index[order(di)[1:5]]))),这个函数有两个众数时会输出两个,所以K近邻为了保证多数投票法有用,麻烦仔细选择合理的k值。

这里我在做训练集时并没有选择k值得过程(因为这个算法实在是太慢了,没有那个耐心)

实际使用这个算法,执行效率相当的低下,每个距离的计算包含了1024个维度的浮点运算,总计900多次,还要为测试向量准备2M的存储空间。所以k决策树是你需要进一步了解的。

K决策树的种类也有不少,比如kd树,但是他们的问题就是k的选取总是一个麻烦的过程,kd树找最近邻是十分高效的,但是找k近邻,删除结点重新建树还是比较麻烦的。

Further reading:

JULY大神的《从K近邻算法、距离度量谈到KD树、SIFT+BBF算法》

目录
相关文章
|
2月前
|
存储 人工智能 算法
数据结构与算法细节篇之最短路径问题:Dijkstra和Floyd算法详细描述,java语言实现。
这篇文章详细介绍了Dijkstra和Floyd算法,这两种算法分别用于解决单源和多源最短路径问题,并且提供了Java语言的实现代码。
89 3
数据结构与算法细节篇之最短路径问题:Dijkstra和Floyd算法详细描述,java语言实现。
|
23天前
|
机器学习/深度学习 人工智能 算法
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
手写数字识别系统,使用Python作为主要开发语言,基于深度学习TensorFlow框架,搭建卷积神经网络算法。并通过对数据集进行训练,最后得到一个识别精度较高的模型。并基于Flask框架,开发网页端操作平台,实现用户上传一张图片识别其名称。
67 0
【手写数字识别】Python+深度学习+机器学习+人工智能+TensorFlow+算法模型
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
阿里云人工智能平台 PAI 团队发表的图像编辑算法论文在 MM2024 上正式亮相发表。ACM MM(ACM国际多媒体会议)是国际多媒体领域的顶级会议,旨在为研究人员、工程师和行业专家提供一个交流平台,以展示在多媒体领域的最新研究成果、技术进展和应用案例。其主题涵盖了图像处理、视频分析、音频处理、社交媒体和多媒体系统等广泛领域。此次入选标志着阿里云人工智能平台 PAI 在图像编辑算法方面的研究获得了学术界的充分认可。
【MM2024】阿里云 PAI 团队图像编辑算法论文入选 MM2024
|
2月前
|
机器学习/深度学习 数据采集 人工智能
R语言是一种强大的编程语言,广泛应用于统计分析、数据可视化、机器学习等领域
R语言是一种广泛应用于统计分析、数据可视化及机器学习的强大编程语言。本文为初学者提供了一份使用R语言进行机器学习的入门指南,涵盖R语言简介、安装配置、基本操作、常用机器学习库介绍及实例演示,帮助读者快速掌握R语言在机器学习领域的应用。
83 3
|
2月前
|
机器学习/深度学习 并行计算 数据挖掘
R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域
【10月更文挑战第21天】R语言是一种强大的统计分析工具,广泛应用于数据分析和机器学习领域。本文将介绍R语言中的一些高级编程技巧,包括函数式编程、向量化运算、字符串处理、循环和条件语句、异常处理和性能优化等方面,以帮助读者更好地掌握R语言的编程技巧,提高数据分析的效率。
54 2
|
2月前
|
机器学习/深度学习 算法 Java
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
机器学习、基础算法、python常见面试题必知必答系列大全:(面试问题持续更新)
|
2月前
|
机器学习/深度学习 算法 决策智能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
【机器学习】揭秘深度学习优化算法:加速训练与提升性能
|
2月前
|
机器学习/深度学习 人工智能 算法
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
玉米病害识别系统,本系统使用Python作为主要开发语言,通过收集了8种常见的玉米叶部病害图片数据集('矮花叶病', '健康', '灰斑病一般', '灰斑病严重', '锈病一般', '锈病严重', '叶斑病一般', '叶斑病严重'),然后基于TensorFlow搭建卷积神经网络算法模型,通过对数据集进行多轮迭代训练,最后得到一个识别精度较高的模型文件。再使用Django搭建Web网页操作平台,实现用户上传一张玉米病害图片识别其名称。
68 0
【玉米病害识别】Python+卷积神经网络算法+人工智能+深度学习+计算机课设项目+TensorFlow+模型训练
|
2月前
|
机器学习/深度学习 算法 Python
探索机器学习中的决策树算法:从理论到实践
【10月更文挑战第5天】本文旨在通过浅显易懂的语言,带领读者了解并实现一个基础的决策树模型。我们将从决策树的基本概念出发,逐步深入其构建过程,包括特征选择、树的生成与剪枝等关键技术点,并以一个简单的例子演示如何用Python代码实现一个决策树分类器。文章不仅注重理论阐述,更侧重于实际操作,以期帮助初学者快速入门并在真实数据上应用这一算法。
|
1月前
|
机器学习/深度学习 人工智能 算法
探索机器学习中的决策树算法
【10月更文挑战第29天】本文将深入浅出地介绍决策树算法,一种在机器学习中广泛使用的分类和回归方法。我们将从基础概念出发,逐步深入到算法的实际应用,最后通过一个代码示例来直观展示如何利用决策树解决实际问题。无论你是机器学习的初学者还是希望深化理解的开发者,这篇文章都将为你提供有价值的见解和指导。