AI 助理
文档备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

2019-07-29 1222
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。

直播间直达链接：（回看链接）

时间

7月31日19:00

主讲人：

辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作

简介：

在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
_Apache_Spark____spark_

文章标签：
开源大数据平台 E-MapReduce
缓存
关键词：
钉钉数据
Apache数据
Apache分离
apache spark缓存
spark缓存
阿里云E-MapReduce团队
目录
相关文章
bruce_xiaowei
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储（一）
数据的存储--Redis缓存存储（一）
bruce_xiaowei
496 1
john散漫
|
7月前
|
Web App开发 存储 缓存
如何精准清除特定类型或标签的缓存数据？
如何精准清除特定类型或标签的缓存数据？
john散漫
620 57
技术自由圈/原疯狂创客圈
|
9月前
|
缓存 NoSQL 关系型数据库
美团面试：MySQL有1000w数据，redis只存20w的数据，如何做 缓存 设计？
美团面试：MySQL有1000w数据，redis只存20w的数据，如何做 缓存 设计？
技术自由圈/原疯狂创客圈
1401 12
美团面试：MySQL有1000w数据，redis只存20w的数据，如何做 缓存 设计？
阿里云开发者
|
6月前
|
存储 缓存 监控
一次缓存引发的文件系统数据不一致问题排查与深度解析
本文详述了一次由自研分布式文件系统客户端 EFC 的缓存架构更新所引发的严重数据不一致问题的完整排查过程。
阿里云开发者
256 0
一次缓存引发的文件系统数据不一致问题排查与深度解析
bruce_xiaowei
|
存储 缓存 NoSQL
数据的存储--Redis缓存存储（二）
数据的存储--Redis缓存存储（二）
bruce_xiaowei
195 2
数据的存储--Redis缓存存储（二）
蓝易云
|
9月前
|
消息中间件 缓存 NoSQL
基于Spring Data Redis与RabbitMQ实现字符串缓存和计数功能（数据同步）
总的来说，借助Spring Data Redis和RabbitMQ，我们可以轻松实现字符串缓存和计数的功能。而关键的部分不过是一些"厨房的套路"，一旦你掌握了这些套路，那么你就像厨师一样可以准备出一道道饕餮美食了。通过这种方式促进数据处理效率无疑将大大提高我们的生产力。
蓝易云
312 32
武子康
|
分布式计算 关系型数据库 MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
武子康
174 3
蚝油菜花
|
11月前
|
机器学习/深度学习 人工智能 缓存
MHA2MLA：0.3%数据微调！复旦团队开源推理加速神器，KV缓存狂降96.87%
MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机构联合推出的数据高效微调方法，通过引入多头潜在注意力机制（MLA），显著优化基于Transformer的LLM推理效率，降低推理成本。
蚝油菜花
441 1
MHA2MLA：0.3%数据微调！复旦团队开源推理加速神器，KV缓存狂降96.87%
mao29955
|
缓存 监控 前端开发
处理页面缓存中数据不一致的问题
【10月更文挑战第9天】
mao29955
516 122
赵渝强老师
|
12月前
|
存储 缓存 分布式计算
【赵渝强老师】Spark RDD的缓存机制
Spark RDD通过`persist`或`cache`方法可将计算结果缓存，但并非立即生效，而是在触发action时才缓存到内存中供重用。`cache`方法实际调用了`persist(StorageLevel.MEMORY_ONLY)`。RDD缓存可能因内存不足被删除，建议结合检查点机制保证容错。示例中，读取大文件并多次调用`count`，使用缓存后执行效率显著提升，最后一次计算仅耗时98ms。
赵渝强老师
360 0
【赵渝强老师】Spark RDD的缓存机制
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    分布式快照算法: Chandy-Lamport
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 4
    HIVE MapJoin异常问题处理总结
  • 5
    Apache Spark 3.0 将内置支持 GPU 调度
  • 6
    使用E-MapReduce服务将Kafka数据导入OSS
  • 7
    Hive MetaStore同步方法
  • 8
    使用hadoop restful api实现对集群信息的统计
  • 9
    E-MapReduce解决hive comment中文乱码问题
  • 10
    使用Spark Streaming SQL进行PV/UV统计
  • 1
    诗悦游戏基于DLF与EMR StarRocks降本38%
    40
  • 2
    基于DLF构建实时数据湖
    48
  • 3
    数仓-湖仓-湖流，人力家基于阿里云OpenLake架构演进与思考
    40
  • 4
    淘宝闪购基于阿里云 EMR Serverless Spark&Paimon的湖仓实践：超大规模下的特征生产&多维分析双提效
    143
  • 5
    有奖实践：EMR Serverless StarRocks × Serverless Spark x DLF 共探 TPC 极致性能
    284
  • 6
    大模型RAG实战：从零搭建专属知识库问答助手
    409
  • 7
    大模型微调技术入门：从核心概念到实战落地全攻略
    345
  • 8
    活动报名 | Apache Spark Meetup · 上海站，助力企业构建高效数据平台
    233
  • 9
    0 基础建站？PageAdmin CMS 10 分钟搞定，源码免费拿！
    420
  • 10
    EMR AI助手开启公测：用AI重塑大数据运维，更简单、更智能
    296

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 相关实验场景

    更多
  • 通过云原生API网关进行AI缓存

    • 推荐镜像

    更多
  • apache
    • 下一篇
    第五届伏魔挑战赛如约来袭，诚邀各路高手来战！