AI 助理
备案控制台登录注册
开发者社区 大数据 文章 正文

22MyCat - Spark/Storm 对join扩展（简略）

2023-10-31 62 发布于广东
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 22MyCat - Spark/Storm 对join扩展（简略）

看到这个标题，可能会感到很奇怪，Spark和Storm 和Join有关系吗? 有必要用Spark，storm吗？

mycat后续的功能会引入spark和storm来做跨分片的join,大致流程是这样的在mycat调用spark,storm的api,把数据传送到spark,storm，在spark,storm进行join,在把数据传回mycat,mycat在返回给客户端。

文章标签：
流计算
分布式计算
Spark
API
关键词：
apache spark扩展
apache spark Storm
apache spark join
阿甘兄
+关注
3414文章
目录
打赏
0
0
0
0
241
分享
相关文章
大数据架构师
|
分布式计算 Hadoop 大数据
一口气说完MR、Storm、Spark、SparkStreaming和Flink
一口气说完MR、Storm、Spark、SparkStreaming和Flink
大数据架构师
360 0
李呈祥
|
SQL 分布式计算 测试技术
扩展Spark Catalyst，打造自定义的Spark SQL引擎
在Spark2.2版本中，引入了新的扩展点，使得用户可以在Spark session中自定义自己的parser，analyzer，optimizer以及physical planning stragegy rule。
李呈祥
4311 0
张继群
|
SQL 存储 分布式计算
Storm与Spark、Hadoop三种框架对比
Storm与Spark、Hadoop这三种框架，各有各的优点，每个框架都有自己的最佳应用场景。所以，在不同的应用场景下，应该选择不同的框架。
张继群
552 0
Storm与Spark、Hadoop三种框架对比
晓之以理的喵~~
|
10月前
|
SQL 分布式计算 测试技术
使用UDF扩展Spark SQL
使用UDF扩展Spark SQL
晓之以理的喵~~
217 0
阿甘兄
|
分布式计算 Scala 流计算
190 Spark与Storm的对比
190 Spark与Storm的对比
阿甘兄
49 0
6hkip34i2a7n6
|
分布式计算 Spark
spark full outer join 数据倾斜导致OOM
spark full outer join 数据倾斜导致OOM
6hkip34i2a7n6
118 0
云内容小助手
|
分布式计算 资源调度 Kubernetes
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
快速学习 Spark 集群搭建_Spark 集群结构_扩展
云内容小助手
166 0
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
1130411424003382
|
SQL 存储 分布式计算
Spark强大的函数扩展功能
Spark强大的函数扩展功能
1130411424003382
216 0
云祁
|
消息中间件 存储 分布式计算
Storm vs. Kafka Streams vs. Spark Streaming vs. Flink ，流式处理框架一网打尽！1
Storm vs. Kafka Streams vs. Spark Streaming vs. Flink ，流式处理框架一网打尽！1
云祁
340 0
Storm vs. Kafka Streams vs. Spark Streaming vs. Flink ，流式处理框架一网打尽！1
6hkip34i2a7n6
|
SQL 存储 分布式计算
spark outer join push down filter rule（spark 外连接中的下推规则）
spark outer join push down filter rule（spark 外连接中的下推规则）
6hkip34i2a7n6
298 0
spark outer join push down filter rule（spark 外连接中的下推规则）

热门文章

最新文章

  • 1
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
    11
  • 2
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
    52
  • 3
    如何在IDE中通过Spark操作Hive
    44
  • 4
    【赵渝强老师】Spark RDD的缓存机制
    4
  • 5
    【赵渝强老师】Spark的容错机制：检查点
    3
  • 6
    基于云服务器的数仓搭建-hive/spark安装
    48
  • 7
    基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
    18
  • 8
    Spark Operator浅析
    15
  • 9
    Spark Stage切分 源码剖析——DAGScheduler
    3
  • 10
    10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】
    1
  • 1
    基于云服务器的数仓搭建-hive/spark安装
    48
  • 2
    基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
    18
  • 3
    【赵渝强老师】Spark RDD的缓存机制
    41
  • 4
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
    106
  • 5
    【赵渝强老师】Spark的容错机制：检查点
    41
  • 6
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
    148
  • 7
    【赵渝强老师】Spark RDD的依赖关系和任务阶段
    83
  • 8
    Spark Master HA 主从切换过程不会影响到集群已有作业的运行， 为什么？
    42
  • 9
    Spark 与 MapReduce 的 Shuffle 的区别？
    79
  • 10
    Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化
    123

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    通义万相：视觉生成大模型再进化
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等