图解大数据 | GraphFrames @基于图的数据分析挖掘

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: GraphFrames库构建在DataFrame之上,具备DataFrame强大的性能,也提供了统一的图处理API。本文讲解GraphFrames的构建使用,包括query与数据分析、图中点与边的计算、图入度与出度的应用等。

ShowMeAI研究中心

作者:韩信子@ShowMeAI
教程地址http://www.showmeai.tech/tutorials/84
本文地址http://www.showmeai.tech/article-detail/182
声明:版权所有,转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容


1.GraphFrames介绍

由Databricks、UC Berkeley以及MIT联合为Apache Spark开发了一款图处理类库,名为GraphFrames。该类库构建在DataFrame之上,既能利用DataFrame良好的扩展性和强大的性能,同时也为Scala、Java和Python提供了统一的图处理API。

1) Spark对图计算的支持

Spark从最开始的关系型数据查询,到图算法实现,到GraphFrames库可以完成图查询。

Spark GraphFrames; 基于图的数据分析挖掘; GraphFrames介绍; Spark对图计算的支持; 16-1

2) GraphFrames的优势

GraphFrames是类似于Spark的GraphX库,支持图处理。但GraphFrames建立在Spark DataFrame之上,具有以下重要的优势:

  • 支持Scala,Java 和Python AP:GraphFrames提供统一的三种编程语言APIs,而GraphX的所有算法支持Python和Java。
  • 方便、简单的图查询:GraphFrames允许用户使用Spark SQL和DataFrame的API查询。
  • 支持导出和导入图:GraphFrames支持DataFrame数据源,使得可以读取和写入多种格式的图,比如Parquet、JSON和CSV格式。

2.构建GraphFrames

以航班分析为例,我们需要构建GraphFrames:

  • ① 先把数据读取成DataFrame。
  • ② 再通过DataFrame查询,构建出点和边。
  • ③ 再通过点和边构建GraphFrames。

Spark GraphFrames; 基于图的数据分析挖掘; 构建GraphFrames; 构建点和边 → 构建GraphFrames; 16-2

# Create Vertices (airports) and Edges (flights)
tripVertices=airports.withColumnRenamed("IATA","id").distinct()
tripEdges=departureDelays
   .select("tripid","delay","src","dst","city_dst","state_dst")

# This GraphFrame builds upon the vertices and edges based on our trips (flights)
tripGraph=GraphFrame(tripVertices, tripEdges)

3.简单query与数据分析

1) 查询机场个数和行程个数

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 查询机场/行程个数; 16-3

# 查询机场个数和行程个数(查询节点和边的个数)
print("Airports:", tripGraph.vertices.count())
print("Trips:", tripGraph.edges.count())

2) 查询最长的航班延迟

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 查询最长的航班延迟; 16-4

# 查询最长延误时间(通过分组统计完成)
longestDelay = tripGraph.edges.groupby().max("delay")

3) 晚点与准点航班分析

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 晚点与准点航班分析; 16-5

# 晚点与准点航班分析(通过数据选择与过滤,进行边的分析)
print "On-time / Early Flights: %d" % tripGraph.edges.filter("delay <= 0").count()
print "Delayed Flights: %d" % tripGraph.edges.filter("delay > 0").count()

4)从旧金山出发的飞机中延迟最严重的航班

Spark GraphFrames; 基于图的数据分析挖掘; 简单query与数据分析; 从旧金山出发的飞机中延迟最严重的航班; 16-6

# 从旧金山出发的飞机中延迟最严重的航班(数据选择+边分析+分组统计)
tripGraph.edges.filter(“src = ‘SFO’ and delay > 0”).groupBy(“src”, “dst”).avg(“delay”).sort(desc(“avg(delay)”))

4.图中点与边相关计算

1) 图中度的分析

在航班案例中:入度:抵达本机场的航班数量;出度:从本机场出发的航班数量;度:连接数量。

Spark GraphFrames; 基于图的数据分析挖掘; 图中点与边相关计算; 图中度的分析; 16-7

display(tripGraph.degrees.sort(desc("degree")).limit(20))

2) 图中边的分析

边的分析,通常是对成对的数据进行统计分析的

Spark GraphFrames; 基于图的数据分析挖掘; 图中点与边相关计算; 图中边的分析; 16-8

import pyspark.sql.functions as func 
topTrips = tripGraph.edges.groupBy("src", "dst").agg(func.count("delay").alias("trips"))

5.图入度与出度相关应用

1) 入度出度对图进一步分析

通过入度和出度分析中转站:入度/出度≈1,中转站;入度/出度>1,出发站;入度/出度<1,抵达站。

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 入度出度; 对图进一步分析; 16-9

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 入度出度; 对图进一步分析; 16-10

# Calculate the inDeg (flights into the airport) and outDeg (flights leaving the airport) 
inDeg = tripGraph.inDegrees 
outDeg = tripGraph.outDegrees 

# Calculate the degreeRatio (inDeg/outDeg) 
degreeRatio = inDeg.join(outDeg, inDeg.id == outDeg.id).drop(outDeg.id).selectExpr("id", "double(inDegree)/double(outDegree) as degreeRatio").cache() 

# Join back to the `airports` DataFrame (instead of registering temp table as above) 
nonTransferAirports = degreeRatio.join(airports, degreeRatio.id == airports.IATA) \ 
    .selectExpr("id", "city", "degreeRatio").filter("degreeRatio < .9 or degreeRatio > 1.1") 

# List out the city airports which have abnormal degree ratios. 
display(nonTransferAirports)

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 入度出度; 对图进一步分析; 16-11

# Join back to the `airports` DataFrame (instead of registering temp table as above) 
transferAirports = degreeRatio.join(airports, degreeRatio.id == airports.IATA) \ 
    .selectExpr("id", "city", "degreeRatio").filter("degreeRatio between 0.9 and 1.1") 

# List out the top 10 transfer city airports 
display(transferAirports.orderBy("degreeRatio").limit(10))

2) 广度优先搜索

通过广度优先搜索,可以对图中的两个点进行关联查询:比如我们查询从旧金山到布法罗,中间有一次中转的航班。

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 广度优先搜索; 16-12

Spark GraphFrames; 基于图的数据分析挖掘; 图入度与出度相关应用; 广度优先搜索; 16-13

# Example 1: Direct Seattle to San Francisco 
filteredPaths = tripGraph.bfs(fromExpr = "id = 'SEA'", toExpr = "id = 'SFO'", maxPathLength = 1) 
display(filteredPaths) 

# Example 2: Direct San Francisco and Buffalo 
filteredPaths = tripGraph.bfs(fromExpr = "id = 'SFO'", toExpr = "id = 'BUF'", maxPathLength = 1) 
display(filteredPaths) 

# Example 2a: Flying from San Francisco to Buffalo 
filteredPaths = tripGraph.bfs(fromExpr = "id = 'SFO'", toExpr = "id = 'BUF'", maxPathLength = 2) 
display(filteredPaths)

6.Pagerank算法与相关应用

可以通过pagerank算法进行机场排序:每个机场都会作为始发站和终点站很多次,可以通过pagerank算法对其重要度进行排序。

Spark GraphFrames; 基于图的数据分析挖掘; Pagerank算法应用; 重要度排序; 16-14

# Determining Airport ranking of importance using `pageRank` 
ranks = tripGraph.pageRank(resetProbability=0.15, maxIter=5) 
display(ranks.vertices.orderBy(ranks.vertices.pagerank.desc()).limit(20))

参考资料

【大数据技术与处理】推荐阅读

ShowMeAI 系列教程推荐

ShowMeAI用知识加速每一次技术成长

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
25天前
|
数据挖掘 PyTorch TensorFlow
|
2月前
|
机器学习/深度学习 算法 数据挖掘
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
本文介绍了2023年第二届钉钉杯大学生大数据挑战赛初赛A题的Python代码分析,涉及智能手机用户监测数据分析中的聚类分析和APP使用情况的分类与回归问题。
57 0
2023 年第二届钉钉杯大学生大数据挑战赛初赛 初赛 A:智能手机用户监测数据分析 问题二分类与回归问题Python代码分析
|
16天前
|
机器学习/深度学习 数据挖掘 大数据
大数据时代的“淘金术”:Python数据分析+深度学习框架实战指南
在大数据时代,数据被视为新财富源泉,而从海量信息中提取价值成为企业竞争的核心。本文通过对比方式探讨如何运用Python数据分析与深度学习框架实现这一目标。Python凭借其强大的数据处理能力及丰富库支持,已成为数据科学家首选工具;而TensorFlow和PyTorch等深度学习框架则为复杂模型构建提供强有力的技术支撑。通过融合Python数据分析与深度学习技术,我们能在各领域中发掘数据的无限潜力。无论是商业分析还是医疗健康,掌握这些技能都将为企业和社会带来巨大价值。
38 6
|
2月前
|
数据采集 算法 数据挖掘
10余位大佬+10余年经验的结晶:Python数据分析与挖掘实战
LinkedIn 对全球超过3.3亿用户的工作经历和技能进行分析后得出,目前最炙手可热的25 项技能中,数据挖掘排名第一。那么数据挖掘是什么? 数据挖掘是从大量数据(包括文本)中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。数据挖掘有助于企业发现业务的趋势,揭示已知的事实,预测未知的结果,因此“数据挖掘”已成为企业保持竞争力的必要方法。 今天给小伙伴们分享的Python数据分析与数据挖掘手册是10余位数据挖掘领域资深专家和科研人员,10余年大数据挖掘咨询与实施经验结晶。从数据挖掘的应用出发,以电力、
10余位大佬+10余年经验的结晶:Python数据分析与挖掘实战
|
2月前
|
存储 数据可视化 数据挖掘
大数据环境下的房地产数据分析与预测研究的设计与实现
本文介绍了一个基于Python大数据环境下的昆明房地产市场分析与预测系统,通过数据采集、清洗、分析、机器学习建模和数据可视化技术,为房地产行业提供决策支持和市场洞察,探讨了模型的可行性、功能需求、数据库设计及实现过程,并展望了未来研究方向。
大数据环境下的房地产数据分析与预测研究的设计与实现
|
2月前
|
数据采集 算法 数据挖掘
10余位大佬+10余年经验的结晶:Python数据分析与挖掘实战
LinkedIn 对全球超过3.3亿用户的工作经历和技能进行分析后得出,目前最炙手可热的25 项技能中,数据挖掘排名第一。那么数据挖掘是什么? 数据挖掘是从大量数据(包括文本)中挖掘出隐含的、先前未知的、对决策有潜在价值的关系、模式和趋势,并用这些知识和规则建立用于决策支持的模型,提供预测性决策支持的方法、工具和过程。数据挖掘有助于企业发现业务的趋势,揭示已知的事实,预测未知的结果,因此“数据挖掘”已成为企业保持竞争力的必要方法。 今天给小伙伴们分享的Python数据分析与数据挖掘手册是10余位数据挖掘领域资深专家和科研人员,10余年大数据挖掘咨询与实施经验结晶。从数据挖掘的应用出发,以电力、
|
2月前
|
Java Spring 安全
Spring 框架邂逅 OAuth2:解锁现代应用安全认证的秘密武器,你准备好迎接变革了吗?
【8月更文挑战第31天】现代化应用的安全性至关重要,OAuth2 作为实现认证和授权的标准协议之一,被广泛采用。Spring 框架通过 Spring Security 提供了强大的 OAuth2 支持,简化了集成过程。本文将通过问答形式详细介绍如何在 Spring 应用中集成 OAuth2,包括 OAuth2 的基本概念、集成步骤及资源服务器保护方法。首先,需要在项目中添加 `spring-security-oauth2-client` 和 `spring-security-oauth2-resource-server` 依赖。
42 0
|
2月前
|
消息中间件 分布式计算 Kafka
MaxCompute 在实时数据分析中的角色
【8月更文第31天】随着大数据应用场景的不断扩展,对数据处理速度的要求越来越高,传统的批处理模式已经难以满足某些业务对实时性的需求。在这种背景下,实时数据处理成为了大数据领域的研究热点之一。阿里云的 MaxCompute 虽然主要用于离线数据处理,但通过与其他实时流处理系统(如 Apache Flink 或 Kafka Streams)的集成,也可以参与到实时数据分析中。本文将探讨 MaxCompute 在实时数据分析中的角色,并介绍如何将 MaxCompute 与 Flink 结合使用。
52 0
|
2月前
|
存储 数据可视化 大数据
基于Python Django的大数据招聘数据分析系统,包括数据大屏和后台管理
本文介绍了一个基于Python Django框架开发的大数据招聘数据分析系统,该系统具备后台管理功能和数据大屏展示,利用大数据技术收集和分析招聘市场趋势,帮助企业和招聘机构提高招聘效率和质量。
|
2月前
|
消息中间件 数据挖掘 Kafka
揭秘大数据时代的极速王者!Flink:颠覆性流处理引擎,让实时数据分析燃爆你的想象力!
【8月更文挑战第29天】Apache Flink 是一个高性能的分布式流处理框架,适用于高吞吐量和低延迟的实时数据处理。它采用统一执行引擎处理有界和无界数据流,具备精确状态管理和灵活窗口操作等特性。Flink 支持毫秒级处理和广泛生态集成,但学习曲线较陡峭,社区相对较小。通过实时日志分析示例,我们展示了如何利用 Flink 从 Kafka 中读取数据并进行词频统计,体现了其强大功能和灵活性。
33 0

热门文章

最新文章

下一篇
无影云桌面