备案控制台

开发者社区> 问答> 正文

spark sql原理是什么？

spark sql原理是什么？

展开

收起

芯在这 2021-12-08 11:48:36 345 0

1 条回答

写回答

取消提交回答

真的很搞笑

Catalyst是spark sql执行优化器的代号,所有spark sql语句最终都能通过它来解析,优化,最终生成可以执行的Java字节码

Catalyst最主要的数据结构是树,所有sql语句都会用树结构来存储,树中的每个节点有一个类(class),以及0或多个子节点.scala中定义的新的节点类型都是TreeNode这个类的子类

Catalyst另外一个重要的概念是规则.基本上所有优化都是基于规则的.可以用规则对树进行操作,树中的节点是只读的,所以树也是只读的.规则中定义的函数可能实现从一棵树转换成一颗新树

2021-12-08 11:48:50

赞同展开评论打赏

问答分类：

SQL 分布式计算 Spark

问答标签：

SQL原理 apache spark SQL apache spark原理 SQL spark spark SQL原理

问答地址：

开发者社区 > 大数据 > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

都有一些什么什么工具可以在哪些方面提高sql质量，原理是什么？

51

1

0

我想学习下flink sql的执行原理，大佬们有推荐的文章吗，代码没有啥注释，看起来太费劲了吧，？

68

3

0

问下 flink-sql平台写holo 怎么做到宽表merge？原理明白，但是sql 写不通

954

1

0

任务编排里的跨库spark sql 数据加工用不了

690

0

0

storm&spark2中spark SQL语句查询的对象是谁呀？

1760

1

0

跨库spark SQL 搞不定，数据从a库查询的结果，存入b库的表中

527

1

0

Dataworks上的ODPS spark处理数据会比直接用ODPS SQL效率高吗？

942

1

0

请教个问题，Spark on MaxCompute是基于内存的吗？会不会比直接用odps sql写要

749

1

0

请问下，flink sql 创建后，源库删除，目标不删除，这个操作有好的解决方法没呀？

1863

3

0

各位大佬，请教一下，如果在flink cdc sql客户端使用SQL查询表，怎么能记录原系统的数据

1951

1

0

问答排行榜

最热

最新

1 【大咖问答】对话PostgreSQL 中国社区发起人之一，阿里云数据库高级专家德哥 1819075

2 据说在家办公的程序员是这样写代码的？ 1793236

3 阿里云开放端口权限 690325

4 如何升级配置 536314

5 【藏经阁一起读（27）】本周推荐《Apache Flink案例集（2022版）》，你有哪些心得？ 522881

6 【精品问答】python技术1000问(1) 514143

7 Flink Forward Asia 2021 有奖问答 512924

8 OceanBase 使用动画（持续更新） 359389

9 阿里云LNAMP(Linux + Nginx + Apache + MySQL + PHP)环境一键安装脚本 329809

10 OSS存储服务-客户端工具 321615

11 为体验实验室取一个新名字。 307501

12 企业邮箱发送邮件时，若出现投递失败产生退信，内容提示包含如下： the mta server of * reply:550 failed to meet SPF requirements 或者 the mta server of 163.com — 163mx01.mxmail.netease.com(220.181.14.141) reply:550 MI:SPF mx14,QMCowECpA0qTiftVaeB3Cg—.872S2 1442548128 http://mail.163.com/help 304114

13 Win Server 2003-2016 加密勒索事件必打补丁合集 295343

14 FLASH播放器，在IE浏览器下显示请确定您的域名已完成备案和CNAME绑定 284232

15 安全组详解，新手必看教程 277354

16 写code还是做管理，开发者如何进行职业规划？ 269212

17 惊喜翻倍：免费ECS+免费环境配置~！(ECS免费体验6个月活动3月31日结束) 255890

18 阿里云手机和阿云浏览器连接问题专帖 235700

19 支付宝H5 下载的时候，提示【请确保该下载文件来源安全,如需浏览,请长按网址复制后使用浏览器访问】 229785

20 请问阿里云邮箱如何开启SMTP服务啊！ 225893

1 AI视频技术的发展是否会影响原创内容的价值？ 409

2 日常工作中，开发者应该如何避免“效率陷阱”？ 262

3 AI 编码助手能否引领编程革命？一起探索 AI 对研发流程的变革 871

4 宜搭数据管理页面如何把一个字段设置为链接跳转 149

5 AI新茶饮，是噱头还是未来？ 1113

6 开发者们需要如何打造属于自己的Plan B? 471

7 阿里云电脑免费体验30天在哪申请？ 106

8 ACP认证有几次考试机会？ 112

9 动机VS自律，对开发者们来说哪个比较重要？ 568

10 AI音色克隆挑战播客，它能模拟人的特质吗？ 1109

11 阿里云RDS mysql数据库show slave status信息疑问 420

12 求助：宜搭如何在请求数据源时传入参数 160

13 宜搭报表对日期字段赋值 311

14 求助：如何在宜搭自定义表单中获取普通表单子表单中的数据 240

15 AI生成海报or人工手绘，哪个更戳你？ 2290

16 “AI +脱口秀”，笑点能靠算法去创造吗？ 1336

17 宜搭配置更新花名册信息的连接器 323

18 请教：通过按钮打开另外一个表单，并把其中一个值传递给另一个表单的其中一个字段。 497

19 AI宠物更适合当代年轻人的陪伴需求吗？ 1527

20 AI客服未来会完全代替人工吗？ 1945

相关课程

更多

如何在 PolarDB-X 中优化慢 SQL

133

2

去学习

SQL完全自学手册

3888

61

去学习

SQL Server on Linux入门教程

4394

14

去学习

SQL入门与实践

11553

6

去学习

数据库及SQL/MySQL基础

7014

22

去学习

SQL进阶及查询

2584

25

去学习

推荐问答

乘风问答官招募中！机械键盘免费拿

相关电子书

更多

SQL Server在电子商务中的应用与实践 立即下载

GeoMesa on Spark SQL 立即下载

原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili 立即下载

相关实验场景

更多