基于Spark的机器学习实践 (九) - 聚类算法

简介: 基于Spark的机器学习实践 (九) - 聚类算法

0 相关源码

1 k-平均算法(k-means clustering)概述

1.1 回顾无监督学习

◆ 分类、回归都属于监督学习

◆ 无监督学习是不需要用户去指定标签的

◆ 而我们看到的分类、回归算法都需要用户输入的训练数据集中给定一个个明确的y值

1.2 k-平均算法与无监督学习

◆ k-平均算法是无监督学习的一种

◆ 它不需要人为指定一个因变量,即标签y ,而是由程序自己发现,给出类别y

◆ 除此之外,无监督算法还有PCA,GMM等


源于信号处理中的一种向量量化方法,现在则更多地作为一种聚类分析方法流行于数据挖掘领域。

k-平均聚类的目的是:把n 个点(可以是样本的一次观察或一个实例)划分到k个聚类中,使得每个点都属于离他最近的均值(此即聚类中心)对应的聚类,以之作为聚类的标准。

这个问题将归结为一个把数据空间划分为Voronoi cells的问题。


这个问题在计算上是NP困难的,不过存在高效的启发式算法。

一般情况下,都使用效率比较高的启发式算法,它们能够快速收敛于一个局部最优解。

这些算法通常类似于通过迭代优化方法处理高斯混合分布的最大期望算法(EM算法)。

而且,它们都使用聚类中心来为数据建模;然而k-平均聚类倾向于在可比较的空间范围内寻找聚类,期望-最大化技术却允许聚类有不同的形状。


k-平均聚类与k-近邻之间没有任何关系(后者是另一流行的机器学习技术)。


2 k-平均算法原理

2.1 k-平均算法描述

◆ 设置需要聚类的类别个数K ,以及n个训练样本,随机初始化K个聚类中心

◆ 计算每个样本与聚类中心的距离,样本选择最近的聚类中心作为其

类别;重新选择聚类中心

◆ 迭代执行上一步,直到算法收敛

算法图示

3 Kmeans算法实战

k-means是最常用的聚类算法之一,它将数据点聚类成预定义数量的聚类

MLlib实现包括一个名为kmeans ||的k-means ++方法的并行变体。

KMeans作为Estimator实现,并生成KMeansModel作为基本模型。

  • 代码
  • 结果

4 LDA算法概述

4.1 LDA算法介绍

◆ LDA即文档主题生成模型 ,该算法是一种无监督学习

◆ 将主题对应聚类中心,文档作为样本,则LDA也是一种聚类算法

◆ 该算法用来将多个文档划分为K个主题 ,与Kmeans类似


隐含狄利克雷分布(英语:Latent Dirichlet allocation,简称LDA),是一种[主题模型],它可以将文档集中每篇文档的主题按照[概率分布]的形式给出。

同时它是一种[无监督学习]算法,在训练时不需要手工标注的训练集,需要的仅仅是文档集以及指定主题的数量k即可。

此外LDA的另一个优点则是,对于每一个主题均可找出一些词语来描述它。

LDA首先由 David M. Blei、吴恩达和迈克尔·I·乔丹于2003年提出,目前在[文本挖掘]领域包括文本主题识别、文本分类以及文本相似度计算方面都有应用。

5 LDA算法原理

5.1 LDA算法概述

◆ LDA是一种基于概率统计的生成算法

◆ 一种常用的主题模型,可以对文档主题进行聚类,同样也可以用在其他非文档的数据中

◆ LDA算法是通过找到词、文档与主题三者之间的统计学关系进行推断的

5.2 LDA算法的原理

◆ 文档的条件概率可以表示为

6 LDA算法实践


LDA实现为支持EMLDAOptimizer和OnlineLDAOptimizer的Estimator,并生成LDAModel作为基本模型。如果需要,专家用户可以将EMLDAOptimizer生成的LDAModel转换为DistributedLDAModel。

  • 代码
  • prediction.show()
  • topics.show(false)
目录
打赏
0
0
0
0
1891
分享
相关文章
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构
K-means聚类算法是机器学习中常用的一种聚类方法,通过将数据集划分为K个簇来简化数据结构。本文介绍了K-means算法的基本原理,包括初始化、数据点分配与簇中心更新等步骤,以及如何在Python中实现该算法,最后讨论了其优缺点及应用场景。
197 6
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
113 15
机器学习算法的优化与改进:提升模型性能的策略与方法
机器学习算法的优化与改进:提升模型性能的策略与方法
295 13
机器学习算法的优化与改进:提升模型性能的策略与方法
解锁机器学习的新维度:元学习的算法与应用探秘
元学习作为一个重要的研究领域,正逐渐在多个应用领域展现其潜力。通过理解和应用元学习的基本算法,研究者可以更好地解决在样本不足或任务快速变化的情况下的学习问题。随着研究的深入,元学习有望在人工智能的未来发展中发挥更大的作用。
CCS 2024:如何严格衡量机器学习算法的隐私泄露? ETH有了新发现
在2024年CCS会议上,苏黎世联邦理工学院的研究人员提出,当前对机器学习隐私保护措施的评估可能存在严重误导。研究通过LiRA攻击评估了五种经验性隐私保护措施(HAMP、RelaxLoss、SELENA、DFKD和SSL),发现现有方法忽视最脆弱数据点、使用较弱攻击且未与实际差分隐私基线比较。结果表明这些措施在更强攻击下表现不佳,而强大的差分隐私基线则提供了更好的隐私-效用权衡。
54 14
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以Qwen2.5-Coder-32B为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
技术实践 | 使用 PAI+LLaMA Factory 微调 Qwen2-VL 模型快速搭建专业领域知识问答机器人
Qwen2-VL是一款具备高级图像和视频理解能力的多模态模型,支持多种语言,适用于多模态应用开发。通过PAI和LLaMA Factory框架,用户可以轻松微调Qwen2-VL模型,快速构建文旅领域的知识问答机器人。本教程详细介绍了从模型部署、微调到对话测试的全过程,帮助开发者高效实现定制化多模态应用。
人工智能浪潮下的编程实践:构建你的第一个机器学习模型
在人工智能的巨浪中,每个人都有机会成为弄潮儿。本文将带你一探究竟,从零基础开始,用最易懂的语言和步骤,教你如何构建属于自己的第一个机器学习模型。不需要复杂的数学公式,也不必担心编程难题,只需跟随我们的步伐,一起探索这个充满魔力的AI世界。
77 12
AI推理新纪元,PAI全球化模型推理服务的创新与实践
本次分享主题为“AI推理新纪元,PAI全球化模型推理服务的创新与实践”,由阿里云高级产品经理李林杨主讲。内容涵盖生成式AI时代推理服务的变化与挑战、play IM核心引擎的优势及ES专属网关的应用。通过LM智能路由、多模态异步生成等技术,PAI平台实现了30%以上的成本降低和显著性能提升,确保全球客户的业务稳定运行并支持异地容灾,目前已覆盖16个地域,拥有10万张显卡的推理集群。
分布式机器学习系统:设计原理、优化策略与实践经验
本文详细探讨了分布式机器学习系统的发展现状与挑战,重点分析了数据并行、模型并行等核心训练范式,以及参数服务器、优化器等关键组件的设计与实现。文章还深入讨论了混合精度训练、梯度累积、ZeRO优化器等高级特性,旨在提供一套全面的技术解决方案,以应对超大规模模型训练中的计算、存储及通信挑战。
126 4

热门文章

最新文章