备案控制台
探索云世界
开发者社区 > 大数据与机器学习 > 开源大数据平台 E-MapReduce > 视频 > 正文

通过LLVM加速SparkSQL时间窗口计算

发布者：Dev-Talk 2020-07-08 16:34:00 1068
Dev-Talk
+关注
视频介绍

讲师介绍：

王太泽
第四范式特征工程数据库负责人
曾在百度担任资深研发工程师
一直致力于解决机器学习模型从离线到在线特征一致性问题和性能问题。

议题简介

  • 为什么要优化spark时间窗口
  • 未加速前面临问题
  • 为什么要使用llvm加速而不是继续优化jvm codegen
  • 实现介绍-llvm 版本sql引擎设计
  • 如何与spark集成
  • benchmark数据 vs spark3.0
相关视频
大数据与机器学习
开源大数据平台 E-MapReduce
+关注
阿里云EMR是云原生开源大数据平台，为客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、ClickHouse、StarRocks、Delta、Hudi等开源大数据计算和存储引擎，计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK平台。
热门文章
热门讨论
欢迎加入Spark中国社区
8544
在 EMR 中使用 Mongo-Hadoop
2675
通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
194
Paimon 与 Spark 的集成（二）：查询优化
117460
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析
13871
EMR Notebook 开启公测，提供交互式数据分析平台
139
数据湖架构及概念简介
2031
Apache Spark 3.0：十年回顾，展望未来
8013
基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
43
SparkSQL DatasourceV2 之 Multiple Catalog
4540
展开全部
阿里云E-MapReduce Notebook怎么申请试用?
13
请问有人遇到过阿里云E-MapReduce这个问题嘛？
12
Cosco的优势是什么？
1102
阿里云E-MapReduce查看刷新物化视图任务是失败状态，如何解决？
17
阿里云E-MapReduce没有访问临时目录的权限或者临时目录满了吧?
11
怎么 开通 EMR Doctor 呢？
33
如果开传奇，同时在线4-5个版本需要什么配置云服务器多少带宽
3826
大佬，可以请教下，有没有遇到 com.aliyun.oss
957
spark sql 使用row_number 出现oom
1265
如何使用DDI+Confluent进行实时数据采集入湖和分析？
630
展开全部
+关注
Dev-Talk
文章
问答
视频
来源圈子
更多
Apache Spark 中国技术社区
4459
邀请你加入钉钉群聊Apache Spark中国技术交流社区，点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,X7S/0/QcrLMkK7QZ5sw2oTvoYW49u0g5dvGu7PW+sm4=&_dt_no_comment=1&origin=11。</br> 微信公众号：Apache Spark技术交流社区 为 Spark 爱好者提供一个交流技术和传递资讯的平台，在这里你可以掌握大数据计算领域最前沿的资讯，可以与 Spark 技术大牛面对面交流，还有不定期社区福利领取哟～
+ 订阅

相关产品

  • 开源大数据平台 E-MapReduce
    文档详情 产品详情
    • 相关文章
    更多
    springboot对接阿里云视频点播 如何使用ASM网关对接阿里云WAF Arduino中使用PubSubClient对接阿里云物联网平台 阿里云Alibaba Cloud Linux镜像系统怎么样？有用过的吗？ 阿里云Alibaba Cloud Linux系统详解以及CentOS有什么区别？替代CentOS解决方案 机器学习原理与实战 | 决策树与集成算法实践 使用阿里云镜像站NTP服务搭建NTP服务器（基于CentOS 7系统） 阿里云|云服务器ECS更换系统操作步骤 用阿里云学生服务器部署博客系统 记通过使用阿里云ECS学习使用linux系统搭建论坛博客项目