地址和最近、更新、最频繁的微博等应用场景。
本文转自 ChinaUnicom110 51CTO博客，原文链接:
http://blog.51cto.com/xingyue2011/1949780
Spark 编程实战之经典算法TOP K
2017-11-14
1419
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
8天前
|
分布式计算
大数据
Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
36
2
2
|
30天前
|
存储
缓存
分布式计算
|
30天前
|
存储
分布式计算
算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
58
0
0
|
8天前
|
分布式计算
Java
开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
31
1
1
|
14天前
|
存储
缓存
算法
|
30天前
|
存储
缓存
分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
41
4
4
|
30天前
|
分布式计算
Java
大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
34
0
0
|
2月前
|
大数据
UED
开发者
实战演练：利用Python的Trie树优化搜索算法，性能飙升不是梦！
在数据密集型应用中，高效搜索算法至关重要。Trie树（前缀树/字典树）通过优化字符串处理和搜索效率成为理想选择。本文通过Python实战演示Trie树构建与应用，显著提升搜索性能。Trie树利用公共前缀减少查询时间，支持快速插入、删除和搜索。以下为简单示例代码，展示如何构建及使用Trie树进行搜索与前缀匹配，适用于自动补全、拼写检查等场景，助力提升应用性能与用户体验。
50
2
2
|
2月前
|
算法
搜索推荐
开发者
别再让复杂度拖你后腿！Python 算法设计与分析实战，教你如何精准评估与优化！
在 Python 编程中，算法的性能至关重要。本文将带您深入了解算法复杂度的概念，包括时间复杂度和空间复杂度。通过具体的例子，如冒泡排序算法 (`O(n^2)` 时间复杂度，`O(1)` 空间复杂度)，我们将展示如何评估算法的性能。同时，我们还会介绍如何优化算法，例如使用 Python 的内置函数 `max` 来提高查找最大值的效率，或利用哈希表将查找时间从 `O(n)` 降至 `O(1)`。此外，还将介绍使用 `timeit` 模块等工具来评估算法性能的方法。通过不断实践，您将能更高效地优化 Python 程序。
51
4
4
|
30天前
|
SQL
分布式计算
大数据
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
大数据-91 Spark 集群 RDD 编程-高阶 RDD广播变量 RDD累加器 Spark程序优化
30
0
0
热门文章
最新文章
1
算法训练 筛选号码
2
根据权重挑选通道的简单算法
3
算法学习之C语言基础
4
【推荐算法】商品推荐_3041
5
泛型KMP算法
6
数据分析案例-基于随机森林算法的商品评价情感分析
7
[干货]基础机器学习算法
8
18 回归算法 - Softmax回归 - 信贷审批案例
9
线性排序算法（1）
10
MapReduce的模式，算法以及用例
1
EMR Serverless Spark服务最佳实践测评
133
2
E-MapReduce Serverless Spark体验评测
297
3
EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
103
4
Spark快速大数据分析PDF下载读书分享推荐
165
5
全托管一站式大规模数据处理和分析Serverless平台 | EMR Serverless Spark 评测
23709
6
Spark大数据处理：技术、应用与性能优化(全)PDF书籍推荐分享
145
7
大数据平台之Spark
109
8
数据处理的艺术：EMR Serverless Spark实践及应用体验
14766
9
DataWorks产品使用合集之ODPS Spark找不到自己的stdout，该如何解决
49
10
DataWorks产品使用合集之spark任务如何跨空间取表数据
39