22MyCat - Spark/Storm 对join扩展(简略)

简介: 22MyCat - Spark/Storm 对join扩展(简略)

看到这个标题,可能会感到很奇怪,Spark和Storm 和Join有关系吗? 有必要用Spark,storm吗?

mycat后续的功能会引入spark和storm来做跨分片的join,大致流程是这样的在mycat调用spark,storm的api,把数据传送到spark,storm,在spark,storm进行join,在把数据传回mycat,mycat在返回给客户端。

目录
相关文章
|
分布式计算 Hadoop 大数据
一口气说完MR、Storm、Spark、SparkStreaming和Flink
一口气说完MR、Storm、Spark、SparkStreaming和Flink
|
SQL 分布式计算 测试技术
扩展Spark Catalyst,打造自定义的Spark SQL引擎
在Spark2.2版本中,引入了新的扩展点,使得用户可以在Spark session中自定义自己的parser,analyzer,optimizer以及physical planning stragegy rule。
4194 0
|
6月前
|
SQL 分布式计算 测试技术
使用UDF扩展Spark SQL
使用UDF扩展Spark SQL
|
SQL 存储 分布式计算
Storm与Spark、Hadoop三种框架对比
Storm与Spark、Hadoop这三种框架,各有各的优点,每个框架都有自己的最佳应用场景。所以,在不同的应用场景下,应该选择不同的框架。
508 0
Storm与Spark、Hadoop三种框架对比
|
分布式计算 Scala 流计算
190 Spark与Storm的对比
190 Spark与Storm的对比
37 0
|
分布式计算 Spark
spark full outer join 数据倾斜导致OOM
spark full outer join 数据倾斜导致OOM
95 0
|
SQL 存储 分布式计算
Spark强大的函数扩展功能
Spark强大的函数扩展功能
|
分布式计算 资源调度 Kubernetes
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
快速学习 Spark 集群搭建_Spark 集群结构_扩展
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
|
消息中间件 存储 分布式计算
Storm vs. Kafka Streams vs. Spark Streaming vs. Flink ,流式处理框架一网打尽!1
Storm vs. Kafka Streams vs. Spark Streaming vs. Flink ,流式处理框架一网打尽!1
294 0
Storm vs. Kafka Streams vs. Spark Streaming vs. Flink ,流式处理框架一网打尽!1
|
SQL 存储 分布式计算
spark outer join push down filter rule(spark 外连接中的下推规则)
spark outer join push down filter rule(spark 外连接中的下推规则)
278 0
spark outer join push down filter rule(spark 外连接中的下推规则)
下一篇
无影云桌面