GitHub上有哪些好项目?GeaFlow图计算快速上手之SSSP算法

简介: 本文介绍了实时图计算引擎GeaFlow支持图算法SSSP的基本原理以及在GeaFlow中的实现细节和使用方式。

GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!! 欢迎给我们 Star 哦! GitHub👉https://github.com/TuGraph-family/tugraph-analytics
更多精彩内容,关注我们的博客 https://geaflow.github.io/


引言

下面这张图是GitHub中约500个开源项目仓库与话题组成的关系网络,密布的连线恐怕没有人能从中找到任何有用的信息。然而GitHub目前总共有3000000+的仓库!

github1.png

如何在5分钟内发现有哪些我们感兴趣好项目?

今天我们使用GeaFlow帮助我们实现SSSP(单源最短路径算法),来试一试盲人摸象!

GeaFlow(品牌名TuGraph-Analytics)是蚂蚁集团开源的分布式实时图计算引擎,目前广泛应用于金融风控、社交网络、知识图谱以及数据应用等场景。

SSSP(单源最短路径算法)算法介绍

SSSP单源最短路径算法(Single Source Shortest Path)是一种基于图论的算法,用于寻找一个起点到其他所有节点的最短路径。该算法可以应用于多种实际问题,如地图导航、网络拓扑等。

在GitHub开源项目仓库与话题组成的关系网络中,从仓库到话题再到仓库的关系边可以支持SSSP算法的运行。

github2.png

如图,在关系网络局部,从起点出发,通过箭头的个数可以标记话题/仓库到源点的距离。例如仓库FiraCode与仓库Font-Awesome的距离为2,通过2个箭头可到达,它们也是互相距离最近的关联仓库。

简单来说,标记出我们感兴趣的仓库,那些与我们感兴趣仓库距离最近的仓库就是推荐的好仓库。或者更进一步,STAR数更多的近距离仓库更值得推荐。

GeaFlow实现SSSP

要运行SSSP算法,我们可以指定使用的图,直接在图查询里调用图算法,语法形式如下:

USE GRAPH github_repo_topic
INSERT INTO tbl_result
CALL sssp('source_vertex') YIELD (repoName, distance)
RETURN repoName, distance;

这段代码在图github_repo_topic上运行,将source_vertex作为算法起点,输出所有其他点的距离。如果无需这么多结果,可以在RETURN中加上WHERE条件过滤,一切和SQL语句一样!

如果需要定制一个图算法,我们可以实现AlgorithmUserFunction接口。GeaFlow内置了多种图算法的通用实现,这些算法无需单独定制,例如SSSP算法的参考实现如下:

@Description(name = "sssp", description = "built-in udga Single Source Shortest Path")
public class SSSP implements AlgorithmUserFunction<Object, Long> {
   
   

    private AlgorithmRuntimeContext<Object, Long> context;

    @Override
    public void init(AlgorithmRuntimeContext<Object, Long> context, Object[] parameters) {
   
   
        //初始化算法上下文
        this.context = context;
    }

    @Override
    public void process(RowVertex vertex, Iterator<Long> messages) {
   
   
        long currentDistance;
        //初始化所有点距离初始值
        if (context.getCurrentIterationId() == 1L) {
   
   
            //初始化所有点距离初始值
        } else if (context.getCurrentIterationId() <= $maxIteration) {
   
   
            //计算最短距离
        } else {
   
   
            //返回结果
        }
        //更新距离值
        context.updateVertexValue(ObjectRow.create($currentDistance));
        //向邻居发送消息
        context.sendMessage(vertex.getId(), $currentDistance);
        long scatterDistance = $currentDistance == Long.MAX_VALUE ? Long.MAX_VALUE : currentDistance + 1;
        for (RowEdge edge : context.loadEdges(EdgeDirection.OUT)) {
   
   
            context.sendMessage(edge.getTargetId(), scatterDistance);
        }
    }

    @Override
    public StructType getOutputType() {
   
   
        //算法返回值数据类型
        return new StructType(
            new TableField("id", StringType.INSTANCE, false), 
            new TableField("distance", LongType.INSTANCE, false)
        );
    }
}

图查询以提交作业的形式完成,作业可以运行在本地或K8S集群中,GeaFlow提供控制台管理和回溯这些图研发作业。

github3.png

在GitHub关系图上盲人摸象

话不多说,我们找到GitHub上目前星星数最多的项目,计算与它距离为2(即具有共同话题)的项目都有哪些?

目前星星最多的项目是freeCodeCamp,这里数据GitHub Public Repository Metadata截止2023年5月。

USE GRAPH github_repo_topic
INSERT INTO tbl_result
SELECT repoName, distance FROM (
    CALL sssp('freeCodeCamp') YIELD (repoName, distance)
    RETURN repoName, distance
) WHERE distance = 2 
LIMIT 10
;

短短时间我们就拿到了计算结果,来看看GeaFlow都给我淘到了哪些好项目吧。这里不按星星数排序,随机呈现10条记录。

id,stars,forks
papers-we-love,72164,5162
system-design-primer,220197,39109
free-programming-books-zh_CN,102417,27516
33-js-concepts,56077,7850
build-your-own-x,201052,19629
30-seconds-of-code,111510,11483
carbon,32588,1854
freecodecamp.cn,36459,1369
Web-Dev-For-Beginners,69680,10904
free-programming-books,279431,55158

总结

本文介绍了实时图计算引擎GeaFlow支持图算法SSSP的基本原理以及在GeaFlow中的实现细节,并展示其在GitHub数据集上的一个应用。


GeaFlow(品牌名TuGraph-Analytics) 已正式开源,欢迎大家关注!!!

欢迎给我们 Star 哦!

Welcome to give us a Star!

GitHub👉https://github.com/TuGraph-family/tugraph-analytics

更多精彩内容,关注我们的博客 https://geaflow.github.io/

相关文章
|
2月前
|
算法 机器人
基于SOA海鸥优化算法的PID控制器最优控制参数计算matlab仿真
本课题研究基于海鸥优化算法(SOA)优化PID控制器参数的方法,通过MATLAB仿真对比传统PID控制效果。利用SOA算法优化PID的kp、ki、kd参数,以积分绝对误差(IAE)为适应度函数,提升系统响应速度与稳定性。仿真结果表明,SOA优化的PID控制器在阶跃响应和误差控制方面均优于传统方法,具有更快的收敛速度和更强的全局寻优能力,适用于复杂系统的参数整定。
|
3月前
|
JSON Kubernetes 安全
找到啦,我们已上车,Github 27000+ star,研发团队必备开源工具项目,真丝滑!!!
Trivy 是一款高效灵活的开源安全扫描工具,支持容器镜像、文件系统、Kubernetes 等多目标扫描,具备快速、易用、集成性强等特点,适用于 DevSecOps 全流程安全检测。
180 0
|
2月前
|
人工智能 JavaScript 前端开发
Github 2024-10-28 开源项目周报 Top15
本周GitHub热门项目涵盖Svelte、Open Interpreter、PowerShell等,涉及Web开发、AI助手、自动化工具等领域,Python、JavaScript为主流语言,展现开源技术活跃生态。(239字)
451 19
|
2月前
|
人工智能 JavaScript 前端开发
Github 2024-11-04 开源项目周报 Top14
本周GitHub热门项目涵盖屏幕截图转代码、网页监控、低代码开发等。Python与TypeScript主导,亮点项目包括AI生成代码工具、开源社交应用Bluesky及机器人框架LeRobot,展现AI与自动化技术的快速发展趋势。
212 15
|
2月前
|
人工智能 JavaScript Docker
Github 2024-11-11 开源项目周报 Top15
本周GitHub热门项目涵盖多领域:Python与TypeScript领跑,包括屏幕截图转代码、本地文件共享、PDF处理、AI开发代理等。亮点项目如screenshot-to-code、LocalSend、OpenHands及Diagrams,兼具创新与实用性,广受开发者关注。
280 13
|
2月前
|
人工智能 算法 JavaScript
Github 2024-10-14 开源项目周报 Top14
本周GitHub热门项目共14个,Python项目占7席。涵盖算法实现、生成式AI、金融分析、目标检测等领域,包括TheAlgorithms系列、OpenBB金融平台、Ultralytics YOLO11、Manim动画框架等,展现开源技术多元发展态势。
141 8
|
2月前
|
人工智能 Rust JavaScript
Github 2024-10-07 开源项目周报 Top15
本周GitHub热门项目共15个,Python项目占比最高达7个。榜首为Python算法实现集合TheAlgorithms/Python,Star数超17万;其他亮点包括Godot游戏引擎、OpenBB金融平台、ToolJet低代码框架及新兴AI相关项目如Crawl4AI、Llama Stack等,涵盖游戏、金融、AI、理财等多个领域。
144 4
|
2月前
|
人工智能 Rust 算法
Github 2024-09-30 开源项目周报 Top15
本周GitHub热门项目揭晓:Python主导,AutoGPT居首,涵盖AI、编程、数学动画等领域,助力开发者探索前沿技术。
147 4
|
2月前
|
人工智能 JavaScript 前端开发
Github 2024-09-16 开源项目周报 Top14
本周GitHub热门项目涵盖Python、TypeScript、Go等语言,React居首。亮点包括微软PowerToys、Node版本管理器、AI证件照工具HivisionIDPhotos及端侧大模型MiniCPM等。
129 2
|
2月前
|
Rust JavaScript 安全
Github 2024-09-02 开源项目周报 Top13
本周GitHub热门项目涵盖AI、开发工具与开源替代品。包括Notion替代AppFlowy、Airtable替代NocoDB、云平台Coolify及可观察性平台OpenObserve等,涉及Python、TypeScript、Rust等语言,聚焦效率、隐私与自动化。
189 1

热门文章

最新文章