备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月30日产品直播【EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework】

2020-07-30 1328
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳，本次直播将详细介绍Native Codegen框架。

主题：

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework

时间：

7月30日 周四 19:00

参与直播方式：

扫描下方钉钉二维码进群，届时是直接观看
或届时进入直播间
https://developer.aliyun.com/live/43579

议题简介：

EMR团队探索并开发了SparkSQL Native Codegen框架，为SparkSQL换了引擎，新引擎带来最高4倍性能提升，为EMR再次获取世界第一立下汗马功劳，本次直播将详细介绍Native Codegen框架。

讲师简介：

周克勇，花名一锤，阿里巴巴计算平台事业部EMR团队技术专家，大数据领域技术爱好者，对Spark有浓厚兴趣和一定的了解，目前主要专注于EMR产品中开源计算引擎的优化工作。

参考文章

EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework
EMR Spark-SQL性能极致优化揭秘 Native Codegen Framework.png

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
大数据
关键词：
SQL优化
产品SQL
emr spark
emr apache spark
SQL性能
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
changwoo
|
28天前
|
SQL 存储 关系型数据库
一文搞懂SQL优化——如何高效添加数据
**SQL优化关键点：** 1. **批量插入**提高效率，一次性建议不超过500条。 2. **手动事务**减少开销，多条插入语句用一个事务。 3. **主键顺序插入**避免页分裂，提升性能。 4. **使用`LOAD DATA INFILE`**大批量导入快速。 5. **避免主键乱序**，减少不必要的磁盘操作。 6. **选择合适主键类型**，避免UUID或长主键导致的性能问题。 7. **避免主键修改**，保持索引稳定。 这些技巧能优化数据库操作，提升系统性能。
changwoo
226 4
一文搞懂SQL优化——如何高效添加数据
三分钟热度的鱼
|
1月前
|
SQL 安全 数据管理
DMS产品常见问题之历史数据清理SQL修改失败如何解决
DMS（数据管理服务，Data Management Service）是阿里云提供的一种数据库管理和维护工具，它支持数据的查询、编辑、分析及安全管控；本汇总集中了DMS产品在实际使用中用户常遇到的问题及其相应的解答，目的是为使用者提供快速参考，帮助他们有效地解决在数据管理过程中所面临的挑战。
三分钟热度的鱼
21 0
阿里开发者
|
5天前
|
SQL 分布式计算 资源调度
一文解析 ODPS SQL 任务优化方法原理
本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发，分析日常数据研发过程中各种优化方法背后的原理，覆盖了部分调优方法的分析，从知道怎么优化，到为什么这样优化，以及还能怎样优化。
阿里开发者
41 0
LightOf
|
12天前
|
SQL 关系型数据库 数据库
【后端面经】【数据库与MySQL】SQL优化：如何发现SQL中的问题？
【4月更文挑战第12天】数据库优化涉及硬件升级、操作系统调整、服务器/引擎优化和SQL优化。SQL优化目标是减少磁盘IO和内存/CPU消耗。`EXPLAIN`命令用于检查SQL执行计划，关注`type`、`possible_keys`、`key`、`rows`和`filtered`字段。设计索引时考虑外键、频繁出现在`where`、`order by`和关联查询中的列，以及区分度高的列。大数据表改结构需谨慎，可能需要停机、低峰期变更或新建表。面试中应准备SQL优化案例，如覆盖索引、优化`order by`、`count`和索引提示。优化分页查询时避免大偏移量，可利用上一批的最大ID进行限制。
LightOf
39 3
洛神灬殇
|
29天前
|
SQL 关系型数据库 MySQL
【MySQL技术之旅】（7）总结和盘点优化方案系列之常用SQL的优化
【MySQL技术之旅】（7）总结和盘点优化方案系列之常用SQL的优化
洛神灬殇
42 1
Sunny_yiyi
|
30天前
|
SQL 索引
SQL怎么优化
SQL怎么优化
Sunny_yiyi
30 2
1941623231718325
|
1月前
|
SQL 监控 测试技术
SQL语法优化与最佳实践
【2月更文挑战第28天】本章将深入探讨SQL语法优化的重要性以及具体的优化策略和最佳实践。通过掌握和理解这些优化技巧，读者将能够编写出更高效、更稳定的SQL查询，提升数据库性能，降低系统资源消耗。
1941623231718325
15 0
不会就选C.
|
1月前
|
SQL 关系型数据库 MySQL
[MySQL]SQL优化之sql语句优化
[MySQL]SQL优化之sql语句优化
不会就选C.
54 0
技术小胖子
|
SQL 监控 关系型数据库
mysql的SQL性能监控
技术小胖子
1608 0
SarPro
|
16天前
|
SQL 人工智能 算法
【SQL server】玩转SQL server数据库：第二章 关系数据库
【SQL server】玩转SQL server数据库：第二章 关系数据库
SarPro
52 10
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 4
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 5
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 6
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 7
    HIVE MapJoin异常问题处理总结
  • 8
    漫谈分布式计算框架
  • 9
    阿里封神-大数据处理技术漫谈
  • 10
    JindoFS概述：云原生的大数据计算存储分离方案
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    90
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    246
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    158
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    74
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    401
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117502
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    400
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    196
  • 9
    1688API接口推荐：1688口令转换真实链接接口
    19
  • 10
    1688API接口推荐：1688按图搜索拍立淘数据接口
    296

    • 相关课程

    更多
  • 如何在 PolarDB-X 中优化慢 SQL
  • SQL完全自学手册
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server在电子商务中的应用与实践
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili

    • 相关实验场景

    更多
  • 通过Lindorm-cli连接并使用宽表引擎
  • MySQL引擎及架构优化
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 基于EMR Serverless StarRocks一键玩转世界杯
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）