AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

钉钉群直播【Spark Relational Cache 原理和实践】

2019-06-24 8997
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
EMR Serverless Spark 免费试用，1000 CU*H 有效期3个月
EMR Serverless StarRocks，5000CU*H 48000GB*H
简介： 主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。

直播回看点我

直播主题：

【Spark Relational Cache 原理和实践】

时间：

6月26日 19：00-20：00

分享嘉宾：

李呈祥，阿里巴巴计算平台事业部EMR团队的高级技术专家，Apache Hive Committer， Apache Flink Committer，深度参与了Hadoop，Hive，Spark，Flink等开源项目的研发工作，对于SQL引擎，分布式系统有较为深入的了解和实践，目前主要专注于EMR产品中开源计算引擎的优化工作。

内容介绍：

主要介绍Relational Cache/物化视图的历史和背景，以及EMR Spark基于Relational Cache加速Spark查询的技术方案，及如何通过基于Relational Cache的数据预计算和预组织，使用Spark支持亚秒级响应的交互式分析使用场景。

_Spark_Relational_Cache___

文章标签：
开源大数据平台 E-MapReduce
分布式计算
Spark
SQL
关键词：
apache spark原理
apache spark cache
apache spark实践
钉钉实践
钉钉直播
相关实践学习
基于EMR Serverless StarRocks一键玩转世界杯
基于StarRocks构建极速统一OLAP平台
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
敏叔V587
|
10月前
|
移动开发 分布式计算 Spark
Spark的几种去重的原理分析
Spark的几种去重的原理分析
敏叔V587
187 0
夏天49597
|
10月前
|
机器学习/深度学习 SQL 分布式计算
Spark核心原理与应用场景解析：面试经验与必备知识点解析
本文深入探讨Spark核心原理（RDD、DAG、内存计算、容错机制）和生态系统（Spark SQL、MLlib、Streaming），并分析其在大规模数据处理、机器学习及实时流处理中的应用。通过代码示例展示DataFrame操作，帮助读者准备面试，同时强调结合个人经验、行业趋势和技术发展以展现全面的技术实力。
夏天49597
914 0
Cool架构
|
10月前
|
存储 分布式计算 数据处理
bigdata-35-Spark工作原理
bigdata-35-Spark工作原理
Cool架构
60 0
热烈的马
|
10月前
|
存储 分布式计算 负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解（超详细）
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解（超详细）
热烈的马
275 0
热烈的马
|
10月前
|
存储 分布式计算 Hadoop
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解（超详细必看）
【大数据技术Hadoop+Spark】HDFS概念、架构、原理、优缺点讲解（超详细必看）
热烈的马
550 0
武子康
|
5月前
|
分布式计算 Java 大数据
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
武子康
66 0
大数据-92 Spark 集群 SparkRDD 原理 Standalone详解 ShuffleV1V2详解 RDD编程优化
Z_sorrain
|
6月前
|
存储 缓存 分布式计算
Spark cache()与unpersist()使用位置
Spark在执行过程中是懒加载模式，RDD转换仅仅是构建DAG描述而不执行，只有遇到action算子才会真正的运行
Z_sorrain
77 9
武子康
|
5月前
|
SQL 分布式计算 大数据
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（一）
武子康
152 0
武子康
|
5月前
|
SQL 分布式计算 算法
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
大数据-97 Spark 集群 SparkSQL 原理详细解析 Broadcast Shuffle SQL解析过程（二）
武子康
135 0
扬流
|
8月前
|
分布式计算 Java Serverless
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
本文以 ECS 连接 EMR Serverless Spark 为例，介绍如何通过 EMR Serverless spark-submit 命令行工具进行 Spark 任务开发。
扬流
491 7
EMR Serverless Spark 实践教程 | 通过 spark-submit 命令行工具提交 Spark 任务
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 3
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 4
    HIVE MapJoin异常问题处理总结
  • 5
    漫谈分布式计算框架
  • 6
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 7
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 8
    开源生态的新发展：Apache Spark 3.0、Koala和Delta Lake
  • 9
    hive在E-MapReduce集群的实践（二）集群hive参数优化
  • 10
    11月14日Spark社区直播【 Spark on Kubernetes & YARN】
  • 1
    美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
    138
  • 2
    阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
    155
  • 3
    阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
    157
  • 4
    关于商品详情 API 接口 JSON 格式返回数据解析的示例
    135
  • 5
    EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
    91
  • 6
    拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
    154
  • 7
    有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
    117
  • 8
    基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
    682
  • 9
    【赵渝强老师】部署Hadoop的本地模式
    103
  • 10
    EMR Serverless Spark：一站式全托管湖仓分析利器
    284

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 钉钉群中如何接收IoT温控器数据告警通知
  • 星轨-钉钉APP分发实训
    • 下一篇
    获取百炼API-KEY