AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月9日Spark社区直播【通过LLVM加速SparkSQL时间窗口计算】

2020-07-08 893
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 为什么要优化spark时间窗口- 未加速前面临问题- 为什么要使用llvm加速而不是继续优化jvm codegen- 实现介绍-llvm 版本sql引擎设计- 如何与spark集成- benchmark数据 vs spark3.0

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

7月9日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43443

直播介绍

  • 为什么要优化spark时间窗口
  • 未加速前面临问题
  • 为什么要使用llvm加速而不是继续优化jvm codegen
  • 实现介绍-llvm 版本sql引擎设计
  • 如何与spark集成
  • benchmark数据 vs spark3.0

7月9日.png

文章标签：
开源大数据平台 E-MapReduce
Java
C++
机器学习/深度学习
分布式计算
SQL
Spark
数据库
关键词：
apache spark计算
apache spark SparkSQL
apache spark窗口
apache spark社区
apache spark时间
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
孙玉洁-47170
|
6月前
|
SQL 分布式计算 API
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
孙玉洁-47170
149 2
武子康
|
1月前
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
武子康
49 5
武子康
|
1月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
武子康
48 3
武子康
|
1月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
60 0
武子康
|
1月前
|
分布式计算 大数据 Spark
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例（二）
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例（二）
武子康
39 1
武子康
|
1月前
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
武子康
29 0
武子康
|
1月前
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
武子康
43 0
武子康
|
1月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
42 0
武子康
|
1月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
78 0
武子康
|
1月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
34 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    如何使用Kafka Connect实现同步RDS binlog数据
  • 3
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 4
    5W1H(六何分析法)全景洞察大数据
  • 5
    在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
  • 6
    hive在E-MapReduce集群的实践（二）集群hive参数优化
  • 7
    csv导入HBase
  • 8
    使用E-MapReduce服务将Kafka数据导入OSS
  • 9
    E-MapReduce结合DataV进行数据展现
  • 10
    利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
  • 1
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    74
  • 2
    【赵渝强老师】部署Hadoop的本地模式
    24
  • 3
    EMR Serverless Spark：一站式全托管湖仓分析利器
    112
  • 4
    降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
    255
  • 5
    阿里云EMR StarRocks X Paimon创建 Streaming Lakehouse
    119
  • 6
    从数据积累到大模型的智能飞跃，你准备好了吗？
    109
  • 7
    DB-GPT v0.6.0 版本更新，发布六大核心新特性！
    112
  • 8
    云栖实录 | 阿里云 OpenLake 解决方案重磅发布：多模态数据统一纳管、引擎平权联合计算、数据共享统一读写
    269
  • 9
    阿里云 EMR Serverless Spark 版正式开启商业化
    147
  • 10
    小红书 API 接口使用指南：笔记详情数据接口的接入与使用
    421

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 使用Flink实时发现最热Github项目
  • 3分钟创建Serverless Job 定时获取新闻热搜
    • 下一篇
    阿里云OSS设置跨域访问