AI 助理
备案控制台
开发者社区 大数据 文章 正文

【Spark Summit East 2017】基于Spark的可扩展的层次聚类算法

2017-02-19 3855
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Chen Jin在Spark Summit East 2017上的演讲，数据挖掘的第一步工作就是进行聚类，聚类的目标是减少数据冗余或者定义数据类型，层次聚类，是一种被广泛使用的集群技术，它可以通过提出潜在的组织结构从而提供更丰富的表现方式。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Chen Jin在Spark Summit East 2017上的演讲，数据挖掘的第一步工作就是进行聚类，聚类的目标是减少数据冗余或者定义数据类型，层次聚类，是一种被广泛使用的集群技术，它可以通过提出潜在的组织结构从而提供更丰富的表现方式。面对并行算法的挑战性，在讲义中Chen Jin通过将其转化为最小生成树问题设计一个单键分层聚类的并行实现方法。


3f3704b14e4110446f4ce7d3cbb9141b020ee7fc

5cac1a5a72e9f5189897137545c06e088dcb1513

421b24a6aa398a87471a13aaf873204a98590460

57000d4455e44ce0eb78930d4687b5a6ebdfca8d

7233941674c2ed1ce04f878a77a701060b86afc0

c32729984909771d7783eaf1057f061527cd20b9

0cbd324d51f47f676251b01f64062b5ce22b6e68

31ec3472d1c71e739ac87b4af00475f4e43b353c

ebb32b003286821aca3ea54ef81f913013849212

e0c83a1ef7d91786711fd3157397cf3aed90656f

2cb1c17e106f9c0c934dc49ad3f65d3f4512c6c9

aab87eee8fc780b92e87c82064b67f2f97f0eefd

62969d6a9b5ebd23b4cbc1c93547f55bfe55b2fe

56f501e944eae57fdf674cfb273328ec8000e30c

c19b161a306f4e0e952927872d61ee0c7169c0f1

d4cce36725d6f3b8b4bb258642da73aa6c2881fe

814549ddbc85f2ae9714f345c830e2b7f3e38dd5

b269f9000fe111696990ce61c3d4f57a592b9ef5

4dc9fa543e05eafe8ce79599dfe0ef937516976b

2e38f62baf6fac172f440ef4674cfdf87c730ecb

8761493f2e010e2fa9c0f5a0629f71175e2f443b

200ddd03644252806e8e34682a957bbb12264673

0f1f71711057a28c054916a51fab34bff2d9c074

f50a6f4ddc3fed7aa92597301d96d80d069d2c86

969db4820efc8f115555098a4d6383986812e200

58f3f0b0cdc3516ec683bcc0aa02cbc093953234

dfff95ba67dd42a49f9d08f7a242234466688bc5

a2ac9367c4f0025ab74c6b3334773fbec80e3e5f

8ef7afd63f93b0781394769731bff4ad213ef190

文章标签：
算法
大数据
分布式计算
Spark
数据挖掘
关键词：
聚类算法
spark算法
apache spark算法
扩展算法
层次聚类算法
小猫吃鱼569
目录
相关文章
Echo_Wish
|
6月前
|
算法 数据可视化 数据挖掘
使用Python实现层次聚类算法
使用Python实现层次聚类算法
Echo_Wish
101 1
极客李华
|
6月前
|
机器学习/深度学习 分布式计算 算法
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
极客李华
112 0
热烈的马
|
6月前
|
算法 数据挖掘 Python
【数据挖掘】层次聚类DIANA、AGNES算法讲解及实战应用（图文解释 超详细）
【数据挖掘】层次聚类DIANA、AGNES算法讲解及实战应用（图文解释 超详细）
热烈的马
466 0
热烈的马
|
6月前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习】层次聚类AGNES、二分K-Means算法的讲解及实战演示（图文解释 附源码）
【Python机器学习】层次聚类AGNES、二分K-Means算法的讲解及实战演示（图文解释 附源码）
热烈的马
216 0
武子康
|
1月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
63 0
aliyun4381607004
|
24天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
aliyun4381607004
52 1
java冯坚持
|
1月前
|
存储 算法
数据结构与算法学习十六：树的知识、二叉树、二叉树的遍历(前序、中序、后序、层次)、二叉树的查找(前序、中序、后序、层次)、二叉树的删除
这篇文章主要介绍了树和二叉树的基础知识，包括树的存储方式、二叉树的定义、遍历方法（前序、中序、后序、层次遍历），以及二叉树的查找和删除操作。
java冯坚持
27 0
算法金
|
5月前
|
机器学习/深度学习 算法 数据挖掘
算法金 | K-均值、层次、DBSCAN聚类方法解析
**摘要：** 这篇文章介绍了聚类分析的基本概念和几种主要的聚类算法。聚类是无监督学习中用于发现数据内在结构的技术，常用于市场分析、图像分割等场景。K-均值是一种基于划分的算法，简单高效但易受初始值影响；层次聚类包括凝聚和分裂方式，形成层次结构但计算复杂；DBSCAN基于密度，能处理任意形状的簇，但参数选择敏感。文章还讨论了这些算法的优缺点和适用场景，并提供了相关资源链接和Python实现。
算法金
107 9
算法金 | K-均值、层次、DBSCAN聚类方法解析
土木林森
|
6月前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习专栏】层次聚类算法的原理与应用
【4月更文挑战第30天】层次聚类是数据挖掘中的聚类技术，无需预设簇数量，能生成数据的层次结构。分为凝聚（自下而上）和分裂（自上而下）两类，常用凝聚层次聚类有最短/最长距离、群集平均和Ward方法。优点是自动确定簇数、提供层次结构，适合小到中型数据集；缺点是计算成本高、过程不可逆且对异常值敏感。在Python中可使用`scipy.cluster.hierarchy`进行实现。尽管有局限，层次聚类仍是各领域强大的分析工具。
土木林森
335 3
拓端数据部落
|
6月前
|
机器学习/深度学习 数据采集 SQL
R语言K-Means(K均值聚类）和层次聚类算法对微博用户特征数据研究
R语言K-Means(K均值聚类）和层次聚类算法对微博用户特征数据研究
拓端数据部落
74 0

热门文章

最新文章

  • 1
    【算法】算法之美—Fire Net
  • 2
    【编程练习】收集的一些c++代码片，算法排序，读文件，写日志，快速求积分等等
  • 3
    字符串相似度算法 递归与动态规划求解分析
  • 4
    【算法研究】Bresenham画线算法
  • 5
    【TDOA定位】基于chan和talor算法实现TDOA定位含性能对比matlab代码
  • 6
    openssl中算法的组织方式
  • 7
    算法导论第十四章 数据结构的扩张
  • 8
    JVM内存模型及垃圾回收算法
  • 9
    九连环的递归算法（C和C++）
  • 10
    iOS 算法之排序、查找、递归
  • 1
    spark用于分析数据并将数据保存到数据库中是
    71
  • 2
    数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
    93
  • 3
    如何解决Spark在深度学习中的资源消耗问题？
    90
  • 4
    Spark在深度学习中的优缺点是什么？
    242
  • 5
    使用Spark进行机器学习
    73
  • 6
    Spark是一个基于内存的通用数据处理引擎，可以进行大规模数据处理和分析
    136
  • 7
    【Spark】Spark基础教程知识点
    82
  • 8
    DataWorks产品使用合集之在DataWorks中，通过spark访问外网的步骤如何解决
    168
  • 9
    MaxCompute操作报错合集之大数据计算的MaxCompute Spark引擎无法读取到表，是什么原因
    146
  • 10
    MaxCompute操作报错合集之spark3.1.1通过resource目录下的conf文件配置，报错如何解决
    78

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 使用Swing算法实现商品推荐
  • RSA密码算法设计与实现
  • 欧拉图的构造性证明与算法实现
  • 推荐系统入门之使用ALS算法实现打分预测
    • 下一篇
    无影云桌面