Spark GraphX概念学习系列之Spark GraphX的使用(二)

简介:

节点属性或结构生成新的图

 


GraphX 提供了丰富的针对图数据的操作符。 Graph 类中定义了核心的、优化过的操作符。一些更加方便的由底层核心操作符组合而成的上层操作符在 GraphOps 中进行定义。正是通过 Scala 语言的 implicit 关键字, GraphOps 中定义的操作符可以作为Graph 中的成员。这样做的目的是未来 GraphX 会支持不同类型的图,而每种类型的图的呈现必须实现核心的操作符和复用大部分的 GraphOps 中实现的操作符。

 


下面将操作符分为几个类别进行介绍
(1)属性操作符
表1给出了 GraphX 的属性操作符。通过属性操作符,用户可以在点或边上进行相应运算,构建和开发图算法。

                          表 1  属性操作符

 

 

  (2)结构操作符
表 2 所示为 GraphX 的结构操作符。通过结构操作可以生成改变图结构之后的图数据。

                          表 2 结构操作符

 

 

(3)图信息属性
     表 3 所示为图信息属性,通过图信息属性,用户可以获取图上的统计信息。

                        表 3 图信息属性

 

 

 

  (4)邻接聚集操作符与 Join 操作符
表 4 所示为邻接聚集操作符与 Join 操作符。通过邻接操作符可以将两个相近的表进行连接。

                                 表 4 邻接聚集操作符与 Join 操作符

 

 

 (5)缓存操作符
表 5 所示为缓存操作符。

  

                      表 5  缓存操作符

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5725398.html,如需转载请自行联系原作者

相关文章
|
2月前
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
66 5
|
2月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
54 3
|
2月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
72 0
|
2月前
|
分布式计算 算法 Spark
spark学习之 GraphX—预测社交圈子
spark学习之 GraphX—预测社交圈子
51 0
|
2月前
|
分布式计算 Scala Spark
educoder的spark算子学习
educoder的spark算子学习
21 0
|
2月前
|
存储 分布式计算 算法
大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
大数据-105 Spark GraphX 基本概述 与 架构基础 概念详解 核心数据结构
55 0
|
2月前
|
消息中间件 分布式计算 Kafka
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
大数据-98 Spark 集群 Spark Streaming 基础概述 架构概念 执行流程 优缺点
49 0
|
3月前
|
分布式计算 Shell Scala
学习使用Spark
学习使用Spark
120 3
|
4月前
|
分布式计算 Shell Scala
如何开始学习使用Spark?
【8月更文挑战第31天】如何开始学习使用Spark?
119 2
|
1月前
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
130 2
ClickHouse与大数据生态集成:Spark & Flink 实战
下一篇
DataWorks