备案控制台

开发者社区大数据与机器学习开源大数据平台 E-MapReduce 文章正文

7月30日产品直播【EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework】

2020-07-30 1368

版权

版权声明：

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

本文涉及的产品

EMR Serverless StarRocks，5000CU*H 48000GB*H

简介： EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳，本次直播将详细介绍Native Codegen框架。

主题：

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

时间：

7月30日周四 19:00

参与直播方式：

扫描下方钉钉二维码进群，届时是直接观看
或届时进入直播间
https://developer.aliyun.com/live/43579

议题简介：

EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳，本次直播将详细介绍Native Codegen框架。

讲师简介：

周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。

参考文章

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

文章标签：

开源大数据平台 E-MapReduce

分布式计算

Spark

大数据

关键词：

emr spark

emr apache spark

SQL优化

SQL性能

apache spark优化

相关实践学习

基于EMR Serverless StarRocks一键玩转世界杯

基于StarRocks构建极速统一OLAP平台

快速掌握阿里云 E-MapReduce

E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。本课程主要介绍阿里云 E-MapReduce 的使用方法。

阿里云E-MapReduce团队

目录

相关文章

拉丁解牛说技术

|

11天前

|

SQL 关系型数据库 MySQL

MySQL进阶突击系列(07) 她气鼓鼓递来一条SQL | 怎么看执行计划、SQL怎么优化?

在日常研发工作当中，系统性能优化，从大的方面来看主要涉及基础平台优化、业务系统性能优化、数据库优化。面对数据库优化，除了DBA在集群性能、服务器调优需要投入精力，我们研发需要负责业务SQL执行优化。当业务数据量达到一定规模后，SQL执行效率可能就会出现瓶颈，影响系统业务响应。掌握如何判断SQL执行慢、以及如何分析SQL执行计划、优化SQL的技能，在工作中解决SQL性能问题显得非常关键。

拉丁解牛说技术

80 13 13

游客tvgb6vci6chtq

|

20天前

|

SQL Oracle 关系型数据库

如何在 Oracle 中配置和使用 SQL Profiles 来优化查询性能？

在 Oracle 数据库中，SQL Profiles 是优化查询性能的工具，通过提供额外统计信息帮助生成更有效的执行计划。配置和使用步骤包括：1. 启用自动 SQL 调优；2. 手动创建 SQL Profile，涉及收集、执行调优任务、查看报告及应用建议；3. 验证效果；4. 使用 `DBA_SQL_PROFILES` 视图管理 Profile。

游客tvgb6vci6chtq

63 5 5

云深知何处

|

2月前

|

SQL Oracle 数据库

使用访问指导(SQL Access Advisor)优化数据库业务负载

本文介绍了Oracle的SQL访问指导（SQL Access Advisor）的应用场景及其使用方法。访问指导通过分析给定的工作负载，提供索引、物化视图和分区等方面的优化建议，帮助DBA提升数据库性能。具体步骤包括创建访问指导任务、创建工作负载、连接工作负载至访问指导、设置任务参数、运行访问指导、查看和应用优化建议。访问指导不仅针对单条SQL语句，还能综合考虑多条SQL语句的优化效果，为DBA提供全面的决策支持。

云深知何处

95 11 11

技术小达人

|

1月前

|

SQL 分布式计算 Java

Spark SQL向量化执行引擎框架Gluten-Velox在AArch64使能和优化

本文摘自 Arm China的工程师顾煜祺关于“在 Arm 平台上使用 Native 算子库加速 Spark”的分享，主要内容包括以下四个部分： 1.技术背景 2.算子库构成 3.算子操作优化 4.未来工作

技术小达人

67 0 0

mikechen的互联网架构

|

3月前

|

SQL 缓存监控

大厂面试高频：4 大性能优化策略（数据库、SQL、JVM等）

本文详细解析了数据库、缓存、异步处理和Web性能优化四大策略，系统性能优化必知必备，大厂面试高频。关注【mikechen的互联网架构】，10年+BAT架构经验倾囊相授。

mikechen的互联网架构

111 6 6

大厂面试高频：4 大性能优化策略（数据库、SQL、JVM等）

游客fmoyiwnvddywe

|

3月前

|

SQL 缓存数据库

SQL慢查询优化策略

在数据库管理和应用开发中，SQL查询的性能优化至关重要。慢查询优化不仅可以提高应用的响应速度，还能降低服务器负载，提升用户体验。本文将详细介绍针对SQL慢查询的优化策略。

游客fmoyiwnvddywe

63 3 3

游客54bz4h3flp7ai

|

3月前

|

SQL 存储 BI

gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句

gbase 8a 数据库 SQL合并类优化——不同数据统计周期合并为一条SQL语句

游客54bz4h3flp7ai

45 1 1

游客54bz4h3flp7ai

|

3月前

|

SQL 数据库

gbase 8a 数据库 SQL优化案例-关联顺序优化

gbase 8a 数据库 SQL优化案例-关联顺序优化

游客54bz4h3flp7ai

67 1 1

潇洒洒

|

3月前

|

SQL 数据库 UED

SQL性能提升秘籍：5步优化法与10个实战案例

在数据库管理和应用开发中，SQL查询的性能优化至关重要。高效的SQL查询不仅可以提高应用的响应速度，还能降低服务器负载，提升用户体验。本文将分享SQL优化的五大步骤和十个实战案例，帮助构建高效、稳定的数据库应用。

潇洒洒

217 3 3

潇洒洒

|

3月前

|

SQL IDE 数据库连接

IntelliJ IDEA处理大文件SQL：性能优势解析

在数据库开发和管理工作中，执行大型SQL文件是一个常见的任务。传统的数据库管理工具如Navicat在处理大型SQL文件时可能会遇到性能瓶颈。而IntelliJ IDEA，作为一个强大的集成开发环境，提供了一些高级功能，使其在执行大文件SQL时表现出色。本文将探讨IntelliJ IDEA在处理大文件SQL时的性能优势，并与Navicat进行比较。

潇洒洒

54 4 4

大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

现代流式计算的基石：Google DataFlow

如何使用Kafka Connect实现同步RDS binlog数据

如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue

JindoFS概述：云原生的大数据计算存储分离方案

5W1H(六何分析法)全景洞察大数据

从数砖开源 Delta Lake 说起

Spark中的资源调度

Apache Flink : Checkpoint 原理剖析与应用实践

EMR Spark Relational Cache如何支持雪花模型中的关联匹配

欢迎加入Spark中国社区

阿里云 EMR Serverless Spark 在微财机器学习场景下的应用

打造无缝社交体验：多平台适配，开启线上线下陪玩系统小程序社交新时代

阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%

关于商品详情 API 接口 JSON 格式返回数据解析的示例

EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效

年轻人如何运用圈子系统进行扩列，社交圈子论坛app扩列的好处，兴趣行业圈子提升社交技能

拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。

有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析

基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析

【赵渝强老师】部署Hadoop的本地模式

相关课程

更多

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段

大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段

SQL完全自学手册

SQL Server on Linux入门教程

大数据实时计算框架Spark快速入门

相关电子书

更多

生命密码－基因数据的EMR实践

超大规模机器学习在EMR的实践

EMR弹性低成本离线大数据分析最佳实践

相关实验场景

更多

基于EMR StarRocks实现游戏玩家画像和行为分析

基于Hologres轻量实时的高性能OLAP分析

MySQL引擎及架构优化

PolarDB for AI：在数据库中通过SQL实现AI能力

玩转MaxCompute SQL! 30分钟搞定数据分析挖掘

基于EMR Serverless StarRocks一键玩转世界杯

下一篇

PAI Model Gallery 支持云上一键部署 DeepSeek-V3、DeepSeek-R1 系列模型