地址和最近、更新、最频繁的微博等应用场景。
本文转自 ChinaUnicom110 51CTO博客，原文链接:
http://blog.51cto.com/xingyue2011/1949780
Spark 编程实战之经典算法TOP K
2017-11-14
1422
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
26天前
|
分布式计算
大数据
Apache
ClickHouse与大数据生态集成：Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代，能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统，ClickHouse 在大数据分析领域展现出了卓越的能力。然而，为了充分利用ClickHouse的优势，将其与现有的大数据处理框架（如Apache Spark和Apache Flink）进行集成变得尤为重要。本文将从我个人的角度出发，探讨如何通过这些技术的结合，实现对大规模数据的实时处理和分析。
77
2
3
|
2月前
|
存储
分布式计算
算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
63
0
0
|
18天前
|
算法
Python
在Python编程中，分治法、贪心算法和动态规划是三种重要的算法。分治法通过将大问题分解为小问题，递归解决后合并结果
在Python编程中，分治法、贪心算法和动态规划是三种重要的算法。分治法通过将大问题分解为小问题，递归解决后合并结果；贪心算法在每一步选择局部最优解，追求全局最优；动态规划通过保存子问题的解，避免重复计算，确保全局最优。这三种算法各具特色，适用于不同类型的问题，合理选择能显著提升编程效率。
32
2
2
|
26天前
|
分布式计算
Java
开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景，随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码，发现使用的`nativeBooster.saveModel`方法不支持OSS路径，而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令，帮助用户顺利迁移模型存储路径。
56
1
1
|
2月前
|
存储
缓存
算法
|
2月前
|
存储
缓存
分布式计算
数据结构与算法学习一：学习前的准备，数据结构的分类，数据结构与算法的关系，实际编程中遇到的问题，几个经典算法问题
这篇文章是关于数据结构与算法的学习指南，涵盖了数据结构的分类、数据结构与算法的关系、实际编程中遇到的问题以及几个经典的算法面试题。
35
0
0
|
3月前
|
大数据
UED
开发者
实战演练：利用Python的Trie树优化搜索算法，性能飙升不是梦！
在数据密集型应用中，高效搜索算法至关重要。Trie树（前缀树/字典树）通过优化字符串处理和搜索效率成为理想选择。本文通过Python实战演示Trie树构建与应用，显著提升搜索性能。Trie树利用公共前缀减少查询时间，支持快速插入、删除和搜索。以下为简单示例代码，展示如何构建及使用Trie树进行搜索与前缀匹配，适用于自动补全、拼写检查等场景，助力提升应用性能与用户体验。
58
2
2
|
3月前
|
算法
搜索推荐
开发者
别再让复杂度拖你后腿！Python 算法设计与分析实战，教你如何精准评估与优化！
在 Python 编程中，算法的性能至关重要。本文将带您深入了解算法复杂度的概念，包括时间复杂度和空间复杂度。通过具体的例子，如冒泡排序算法 (`O(n^2)` 时间复杂度，`O(1)` 空间复杂度)，我们将展示如何评估算法的性能。同时，我们还会介绍如何优化算法，例如使用 Python 的内置函数 `max` 来提高查找最大值的效率，或利用哈希表将查找时间从 `O(n)` 降至 `O(1)`。此外，还将介绍使用 `timeit` 模块等工具来评估算法性能的方法。通过不断实践，您将能更高效地优化 Python 程序。
63
4
4
|
2月前
|
算法
Python
|
4月前
|
存储
算法
搜索推荐
编程之旅中的算法启示
【8月更文挑战第31天】在编程世界的迷宫里，算法是那把钥匙，它不仅能解锁问题的答案，还能引领我们深入理解计算机科学的灵魂。本文将通过一次个人的技术感悟旅程，探索算法的奥秘，分享如何通过实践和思考来提升编程技能，以及这一过程如何启示我们更深层次地认识技术与生活的交织。
15
0
0
热门文章
最新文章
1
【编程练习】收集的一些c++代码片，算法排序，读文件，写日志，快速求积分等等
2
字符串相似度算法 递归与动态规划求解分析
3
【TDOA定位】基于chan和talor算法实现TDOA定位含性能对比matlab代码
4
【算法】算法之美—Fire Net
5
深入理解MySQL中的Join算法
6
openssl中算法的组织方式
7
【算法研究】Bresenham画线算法
8
算法导论第十四章 数据结构的扩张
9
JVM内存模型及垃圾回收算法
10
【字符串处理算法】删除特定的字符的算法设计及C代码实现
1
E-MapReduce Serverless Spark开发者评测
79
2
带你读《阿里云产品五月刊》——五、阿里云 EMR Serverless Spark 版开启免费公测
95
3
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
417
4
实时计算 Flink版产品使用问题之使用Spark ThriftServer查询同步到Hudi的数据时，如何实时查看数据变化
52
5
E-MapReduce Serverless Spark 评测
62
6
Spark Streaming：解锁实时数据处理的力量
121
7
EMR Serverless Spark服务最佳实践测评
142
8
E-MapReduce Serverless Spark体验评测
307
9
EMR Serverless Spark服务和EMR Serverless StarRocks服务的比较
112
10
Spark快速大数据分析PDF下载读书分享推荐
180