AI 助理
备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

2019-07-29 1211
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

直播间直达链接：（回看链接）

时间

7月31日19:00

主讲人：

辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

简介：

在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
_Apache_Spark____spark_

文章标签：
开源大数据平台 E-MapReduce
缓存
关键词：
钉钉数据
Apache数据
Apache分离
apache spark缓存
spark缓存
阿里云E-MapReduce团队
目录
相关文章
SelectDB
|
8月前
|
存储 人工智能 数据处理
Apache Doris 2025 Roadmap：构建 GenAI 时代实时高效统一的数据底座
秉承“以场景驱动创新” 的核心理念，持续深耕三大核心场景的关键能力，并对大模型 GenAI 场景的融合应用进行重点投入，为智能时代构建实时、高效、统一的数据底座。
SelectDB
462 10
Apache Doris 2025 Roadmap：构建 GenAI 时代实时高效统一的数据底座
武子康
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
武子康
157 3
SelectDB
|
10月前
|
存储 运维 监控
从 ClickHouse 到 Apache Doris：在网易云音乐日增万亿日志数据场景下的落地
日志数据已成为企业洞察系统状态、监控网络安全及分析业务动态的宝贵资源。网易云音乐引入 Apache Doris 作为日志库新方案，替换了 ClickHouse。解决了 ClickHouse 运维复杂、不支持倒排索引的问题。目前已经稳定运行 3 个季度，规模达到 50 台服务器， 倒排索引将全文检索性能提升7倍，2PB 数据，每天新增日志量超过万亿条，峰值写入吞吐 6GB/s 。
SelectDB
708 5
从 ClickHouse 到 Apache Doris：在网易云音乐日增万亿日志数据场景下的落地
SelectDB
|
10月前
|
存储 SQL 数据挖掘
数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）
湖仓一体架构融合了数据湖的低成本、高扩展性，以及数据仓库的高性能、强数据治理能力，高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设，Apache Doris 提出了数据无界和湖仓无界核心理念，并结合自身特性，助力企业加速从 0 到 1 构建湖仓体系，降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
SelectDB
988 1
数据无界、湖仓无界， Apache Doris 湖仓一体解决方案全面解读（上篇）
赵渝强老师
|
10月前
|
存储 缓存 分布式计算
【赵渝强老师】Spark RDD的缓存机制
Spark RDD通过`persist`或`cache`方法可将计算结果缓存，但并非立即生效，而是在触发action时才缓存到内存中供重用。`cache`方法实际调用了`persist(StorageLevel.MEMORY_ONLY)`。RDD缓存可能因内存不足被删除，建议结合检查点机制保证容错。示例中，读取大文件并多次调用`count`，使用缓存后执行效率显著提升，最后一次计算仅耗时98ms。
赵渝强老师
302 0
【赵渝强老师】Spark RDD的缓存机制
龙大吉
|
分布式计算 大数据 Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
龙大吉
371 1
武子康
|
存储 缓存 分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
武子康
182 4
武子康
|
SQL 消息中间件 大数据
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(一)
武子康
322 1
武子康
|
SQL 大数据 Apache
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
大数据-159 Apache Kylin 构建Cube 准备和测试数据(二)
武子康
202 1
武子康
|
分布式计算 监控 大数据
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
大数据-148 Apache Kudu 从 Flink 下沉数据到 Kudu
武子康
285 1
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    分布式快照算法: Chandy-Lamport
  • 3
    现代流式计算的基石：Google DataFlow
  • 4
    如何使用Kafka Connect实现同步RDS binlog数据
  • 5
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 6
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 7
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 8
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 9
    HIVE MapJoin异常问题处理总结
  • 10
    漫谈分布式计算框架
  • 1
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    67
  • 2
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    197
  • 3
    如何建设网站，网站制作的6个步骤
    635
  • 4
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    181
  • 5
    EMR StarRocks Stella 内核正式发布，登顶 TPC 榜单全球第一
    164
  • 6
    QuickSSO 与 ECreator 实操应用案例手册
    106
  • 7
    StarRocks+Paimon 落地阿里日志采集：万亿级实时数据秒级查询
    550
  • 8
    立马耀：通过阿里云 Serverless Spark 和 Milvus 构建高效向量检索系统，驱动个性化推荐业务
    455
  • 9
    鹰角网络：EMR Serverless Spark 在《明日方舟》游戏业务的应用
    876
  • 10
    千万级数据秒级响应！碧桂园基于 EMR Serverless StarRocks 升级存算分离架构实践
    763

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • 钉钉小程序——为工作方式插上翅膀
  • 钉钉客户端自动化的应用
  • 使命必达 —— 钉钉企业级 消息服务的机遇与挑战

    • 推荐镜像

    更多
  • apache
    • 下一篇
    一文了解：阿里云对象存储OSS是什么？