AI 助理
备案控制台登录注册
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月9日Spark社区直播【通过LLVM加速SparkSQL时间窗口计算】

2020-07-08 916
版权
举报
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless Spark 免费试用，1000 CU*H 有效期3个月
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 为什么要优化spark时间窗口- 未加速前面临问题- 为什么要使用llvm加速而不是继续优化jvm codegen- 实现介绍-llvm 版本sql引擎设计- 如何与spark集成- benchmark数据 vs spark3.0

讲师：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

时间：

7月9日 19：00

观看直播方式：

扫描下方二维码入群，或届时进入直播间（回看链接）
https://developer.aliyun.com/live/43443

直播介绍

  • 为什么要优化spark时间窗口
  • 未加速前面临问题
  • 为什么要使用llvm加速而不是继续优化jvm codegen
  • 实现介绍-llvm 版本sql引擎设计
  • 如何与spark集成
  • benchmark数据 vs spark3.0

7月9日.png

文章标签：
开源大数据平台 E-MapReduce
Java
C++
机器学习/深度学习
分布式计算
SQL
Spark
数据库
关键词：
apache spark计算
apache spark SparkSQL
apache spark窗口
apache spark社区
apache spark时间
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
+关注
217文章14问答
目录
打赏
0
0
0
0
1336
分享
相关文章
孙玉洁-47170
|
11月前
|
SQL 分布式计算 API
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
孙玉洁-47170
204 2
武子康
|
6月前
|
分布式计算 大数据 Java
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
大数据-87 Spark 集群 案例学习 Spark Scala 案例 手写计算圆周率、计算共同好友
武子康
108 5
武子康
|
6月前
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
武子康
82 3
武子康
|
6月前
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例：1图的基本计算、2连通图算法、3寻找相同的用户
武子康
114 0
武子康
|
6月前
|
分布式计算 大数据 Spark
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例（二）
大数据-95 Spark 集群 SparkSQL Action与Transformation操作 详细解释与测试案例（二）
武子康
78 1
武子康
|
6月前
|
SQL 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（一）
武子康
83 0
武子康
|
6月前
|
存储 分布式计算 大数据
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例（二）
武子康
88 0
武子康
|
6月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
180 0
武子康
|
6月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
139 0
武子康
|
6月前
|
SQL 分布式计算 Java
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
大数据-96 Spark 集群 SparkSQL Scala编写SQL操作SparkSQL的数据源：JSON、CSV、JDBC、Hive
武子康
139 0
大数据与机器学习

开源大数据平台 E-MapReduce
+关注

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
    13894
  • 2
    Spark in action on Kubernetes - Playground搭建与架构浅析
    11855
  • 3
    HIVE MapJoin异常问题处理总结
    10810
  • 4
    阿里封神-大数据处理技术漫谈
    9606
  • 5
    5W1H(六何分析法)全景洞察大数据
    9489
  • 6
    从数砖开源 Delta Lake 说起
    8559
  • 7
    如何在E-MapReduce中玩转OSS
    6663
  • 8
    E-MapReduce中Spark 2.x读写MaxCompute数据
    5694
  • 9
    Presto实现原理（转）
    5550
  • 10
    hive在E-MapReduce集群的实践（一）hive异常排查入门
    5252
  • 1
    百观科技基于阿里云 EMR 的数据湖实践分享
    20
  • 2
    StarRocks + Paimon 在阿里集团 Lakehouse 的探索与实践
    123
  • 3
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
    186
  • 4
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
    176
  • 5
    阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
    176
  • 6
    关于商品详情 API 接口 JSON 格式返回数据解析的示例
    156
  • 7
    EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
    114
  • 8
    拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
    171
  • 9
    有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
    136
  • 10
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    709

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    基于ECS搭建云上博客
    目录
    AI助理

    你好，我是AI助理

    可以解答问题、推荐解决方案等