AI 助理
备案控制台
开发者社区 大数据 文章 正文

Spark 编程实战之经典算法TOP K

2017-11-14 1403
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 
 

地址和最近、更新、最频繁的微博等应用场景。
 

本文转自 ChinaUnicom110 51CTO博客，原文链接:
 http://blog.51cto.com/xingyue2011/1949780

                        
                    

                    
                        

                            

    
文章标签：

    

        

            算法
        

        

            Apache
        

        

            分布式计算
        

    



                            

    
关键词：

    

        

            实战算法
        

        

            apache spark编程
        

        

            apache spark实战
        

        

            算法top
        

        

            apache spark编程实战
        

    



                            
                        

                        
                        
                    
                

                


                

                    

                        

                            
                                
                            
                            

                        

                        技术小牛人
                        

                        

                    

                    

                        

                            

                            
目录

                        

                        

                    

                

                

                    

                


                

    
相关文章

    

        

            

                

                    大柏怎么被偷了
                    
                

                |
                
7天前

                |
                

                    存储
                    算法
                

            

            

                

                    
                        【C算法】编程初学者入门训练140道（1~20）
                    
                    
【C算法】编程初学者入门训练140道（1~20）

                    

                        

                            

                                大柏怎么被偷了
                                
                            

                            14
                            0
                            
                        

                    

                

                
            

        

        

            

                

                    软件求生
                    
                

                |
                
6天前

                |
                

                    存储
                    NoSQL
                    算法
                

            

            

                

                    
                        实战算法篇：设计短域名系统，将长URL转化成短的URL.
                    
                    
小米介绍了一种实用的短域名系统设计，用于将冗长的URL转化为简短链接。短链接不仅节省空间，便于分享，还能支持数据分析。系统通过唯一编号结合62进制转换生成短标识，并利用如Redis这样的数据库存储长链接与短标识的映射关系。最后，通过302重定向实现用户访问时的长链接恢复。这一方案适用于多种场景，有效提升用户体验与数据追踪能力。

                    

                        

                            

                                软件求生
                                
                            

                            22
                            9
                            
                        

                    

                

                
            

        

        

            

                

                    众所周知
                    
                

                |
                
28天前

                |
                

                    算法
                    搜索推荐
                    开发者
                

            

            

                

                    
                        别再让复杂度拖你后腿！Python 算法设计与分析实战，教你如何精准评估与优化！
                    
                    
【7月更文挑战第23天】在Python编程中，掌握算法复杂度—时间与空间消耗，是提升程序效能的关键。算法如冒泡排序（$O(n^2)$时间/$O(1)$空间），或使用Python内置函数找最大值（$O(n)$时间），需精确诊断与优化。数据结构如哈希表可将查找从$O(n)$降至$O(1)$。运用`timeit`模块评估性能，深入理解数据结构和算法，使Python代码更高效。持续实践与学习，精通复杂度管理。

                    

                        

                            

                                众所周知
                                
                            

                            37
                            9
                            
                        

                    

                

                
            

        

        

            

                

                    洛秋_
                    
                

                |
                
28天前

                |
                

                    机器学习/深度学习
                    人工智能
                    监控
                

            

            

                

                    
                        人工智能 - 目标检测算法详解及实战
                    
                    
目标检测需识别目标类别与位置，核心挑战为复杂背景下的多目标精准快速检测。算法分两步：目标提取（滑动窗口或区域提议）和分类（常用CNN）。IoU衡量预测与真实框重叠度，越接近1，检测越准。主流算法包括R-CNN系列（R-CNN, Fast R-CNN, Faster R-CNN），YOLO系列，SSD，各具特色，如Faster R-CNN高效候选区生成与检测，YOLO适用于实时应用。应用场景丰富，如自动驾驶行人车辆检测，安防监控，智能零售商品识别等。实现涉及数据准备、模型训练（示例YOLOv3）、评估（Precision, Recall, mAP）及测试。

                    

                        

                            

                                洛秋_
                                
                            

                            62
                            5
                            
                        

                    

                

                
            

        

        

            

                

                    李木子2024
                    
                

                |
                
29天前

                |
                

                    存储
                    算法
                    搜索推荐
                

            

            

                

                    
                        告别低效编程！Python算法设计与分析中，时间复杂度与空间复杂度的智慧抉择！
                    
                    
【7月更文挑战第22天】在编程中，时间复杂度和空间复杂度是评估算法效率的关键。时间复杂度衡量执行时间随数据量增加的趋势，空间复杂度关注算法所需的内存。在实际应用中，开发者需权衡两者，根据场景选择合适算法，如快速排序（平均O(n log n)，最坏O(n^2)，空间复杂度O(log n)至O(n)）适合大规模数据，而归并排序（稳定O(n log n)，空间复杂度O(n)）在内存受限或稳定性要求高时更有利。通过优化，如改进基准选择或减少复制，可平衡这两者。理解并智慧地选择算法是提升代码效率的关键。

                    

                        

                            

                                李木子2024
                                
                            

                            28
                            1
                            
                        

                    

                

                
            

        

        

            

                

                    郑小健
                    
                

                |
                
1月前

                |
                

                    机器学习/深度学习
                    算法
                    算法框架/工具
                

            

            

                

                    
                        模型训练实战：选择合适的优化算法
                    
                    
 【7月更文第17天】在模型训练这场智慧与计算力的较量中，优化算法就像是一位精明的向导，引领着我们穿越复杂的损失函数地形，寻找那最低点的“宝藏”——最优解。今天，我们就来一场模型训练的实战之旅，探讨两位明星级的优化算法：梯度下降和Adam，看看它们在不同战场上的英姿。

                    

                        

                            

                                郑小健
                                
                            

                            61
                            5
                            
                        

                    

                

                
            

        

        

            

                

                    技术小达人
                    
                

                |
                
1月前

                |
                

                    消息中间件
                    存储
                    算法
                

            

            

                

                    
                        实战算法的基础入门（2）
                    
                    
实战算法的基础入门

                    

                        

                            

                                技术小达人
                                
                            

                            35
                            8
                            
                        

                    

                

                
            

        

        

            

                

                    技术小达人
                    
                

                |
                
1月前

                |
                

                    算法
                    Java
                

            

            

                

                    
                        实战算法的基础入门（3）
                    
                    
实战算法的基础入门

                    

                        

                            

                                技术小达人
                                
                            

                            40
                            7
                            
                        

                    

                

                
            

        

        

            

                

                    东方睿赢
                    
                

                |
                
1月前

                |
                

                    大数据
                    UED
                    开发者
                

            

            

                

                    
                        实战演练：利用Python的Trie树优化搜索算法，性能飙升不是梦！
                    
                    
【7月更文挑战第19天】Trie树，又称前缀树，是优化字符串搜索的高效数据结构。通过利用公共前缀，Trie树能快速插入、删除和查找字符串。

                    

                        

                            

                                东方睿赢
                                
                            

                            48
                            2
                            
                        

                    

                

                
            

        

        

            

                

                    叫做饺子
                    
                

                |
                
1月前

                |
                

                    分布式计算
                    Apache
                    Spark
                

            

            

                

                    
                        Python与Apache Spark：实时AI的大数据引擎——Spark Streaming实战
                    
                    
7月更文挑战第9天


                    

                        

                            

                                叫做饺子
                                
                            

                            65
                            0
                            
                        

                    

                

                
            

        

    



            

            

                
                
                    
                    

    

        

            
热门文章

        

        

            
最新文章

        

    

    

        

            

                
  • 
                    
                        
    
                            
    1
    
                            
                            
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
    2
    
                            
                            
    8月28日社区直播【Spark Streaming SQL流式处理简介】
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
    3
    
                            
                            
    Spark Core概念学习系列之Spark Core（十四）
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    4
    
                            
    9.24直播预告｜DLA Serverless Spark技术解析-让您的Spark弹起来
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    5
    
                            
    附录A Spark2.1核心工具类Utils
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    6
    
                            
    Spark-理解RDD
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    7
    
                            
    Spark-神奇的共享变量
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    8
    
                            
    Spark-ML-01-小试spark分析离线商品信息
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    9
    
                            
    spark SQL配置连接Hive Metastore 3.1.2
    
                            
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    10
    
                            
    Spark shuffle详细过程
    
                            
    
                        
    
                        
                
    • 
            
    
            
    
                
            
    
        
    
        
    
            
    
                
  • 
                    
                        
    
                            
    1
    
                            
                            
    基于直方图的图像阈值计算和分割算法FPGA实现,包含tb测试文件和MATLAB辅助验证
    
                            
    62
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
    2
    
                            
                            
    面试遇到算法题：实现LRU缓存
    
                            
    62
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
    3
    
                            
                            
    数据结构与算法基础及在计算机科学中的应用
    
                            
    55
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    4
    
                            
    R语言K-Means(K均值聚类）和层次聚类算法对微博用户特征数据研究
    
                            
    49
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    5
    
                            
    机器学习--K近邻算法，以及python中通过Scikit-learn库实现K近邻算法API使用技巧
    
                            
    52
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    6
    
                            
    【视频】支持向量机算法原理和Python用户流失数据挖掘SVM实例（下）
    
                            
    230
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    7
    
                            
    【视频】支持向量机算法原理和Python用户流失数据挖掘SVM实例（上）
    
                            
    237
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    8
    
                            
    MATLAB模糊C均值聚类FCM改进的推荐系统协同过滤算法分析MovieLens电影数据集
    
                            
    72
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    9
    
                            
    数据分享|R语言改进的K-MEANS(K-均值)聚类算法分析股票盈利能力和可视化
    
                            
    43
    
                        
    
                        
                
    • 
                
  • 
                    
                        
    
                            
                            
    10
    
                            
    R语言Apriori算法关联规则对中药用药复方配伍规律药方挖掘可视化（下）
    
                            
    43
    
                        
    
                        
                
    • 
            
    
            
    
                
            
    
        
    
    
    

    
                    
                    
    
    
    
        
    相关课程
    
        更多
    
    
    
    
        
  • 
                大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
            
    • 
        
  • 
                大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
            
    • 
        
  • 
                大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
            
    • 
        
  • 
                Go语言核心编程 - 数据结构和算法
            
    • 
        
  • 
                大数据实时计算框架Spark快速入门
            
    • 
        
  • 
                神经网络概览及算法详解
            
    • 
    
    

    
                    
    
    
    
        
    相关电子书
    
        更多
    
    
    
    
        
  • 
                Hybrid Cloud and Apache Spark
            
    • 
        
  • 
                Scalable Deep Learning on Spark
            
    • 
        
  • 
                Comparison of Spark SQL with Hive
            
    • 
    
    

    
                    
    
    
    
        
    相关实验场景
    
        更多
    
    
    
    
        
  • 
            推荐系统入门之使用ALS算法实现打分预测
        
    • 
        
  • 
            欧拉图的构造性证明与算法实现
        
    • 
        
  • 
            RSA密码算法设计与实现
        
    • 
        
  • 
            RSA非对称加密算法
        
    • 
        
  • 
            使用Swing算法实现商品推荐
        
    • 
    
    

    
                    
                    
                    
    
                        
    
    
    
        
    下一篇
    
    
    
    通义千问API入门教程