直播间直达链接：（回看链接）
时间
7月31日19:00
主讲人：
辰山，阿里巴巴计算平台事业部 EMR 高级开发工程师，目前从事大数据存储方面的开发和优化工作
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。 
7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】
2019-07-29
1150
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
简介：
在数据上云的大背景下，存储计算分离逐渐成为了大数据处理的一大趋势，计算引擎需要通过网络读写远端的数据，很多情况下 IO 成为了整个计算任务的瓶颈，因而数据缓存成为此类场景下的一个重要的优化手段。本次分享将介绍 Spark 在数据缓存上的一些做法，并将介绍 EMR 自研的 Jindo 存储系统在数据缓存上的应用。
相关文章
|
3月前
|
存储
缓存
NoSQL
|
3月前
|
存储
缓存
NoSQL
|
3月前
|
消息中间件
缓存
NoSQL
Redis 是一个高性能的键值对存储系统，常用于缓存、消息队列和会话管理等场景。
【10月更文挑战第4天】Redis 是一个高性能的键值对存储系统，常用于缓存、消息队列和会话管理等场景。随着数据增长，有时需要将 Redis 数据导出以进行分析、备份或迁移。本文详细介绍几种导出方法：1）使用 Redis 命令与重定向；2）利用 Redis 的 RDB 和 AOF 持久化功能；3）借助第三方工具如 `redis-dump`。每种方法均附有示例代码，帮助你轻松完成数据导出任务。无论数据量大小，总有一款适合你。
94
6
6
|
3月前
|
分布式计算
关系型数据库
MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
大数据-88 Spark 集群 案例学习 Spark Scala 案例 SuperWordCount 计算结果数据写入MySQL
64
3
3
|
5月前
|
存储
缓存
NoSQL
【Azure Redis 缓存】关于Azure Cache for Redis 服务在传输和存储键值对(Key/Value)的加密问题
【Azure Redis 缓存】关于Azure Cache for Redis 服务在传输和存储键值对(Key/Value)的加密问题
64
2
2
|
19天前
|
存储
SQL
监控
计算效率提升 10 倍，存储成本降低 60%，灵犀科技基于 Apache Doris 建设统一数据服务平台
灵犀科技早期基于 Hadoop 构建大数据平台，在战略调整和需求的持续扩增下，数据处理效率、查询性能、资源成本问题随之出现。为此，引入 [Apache Doris](https://doris.apache.org/) 替换了复杂技术栈，升级为集存储、加工、服务为一体的统一架构，实现存储成本下降 60%，计算效率提升超 10 倍的显著成效。
48
0
0
|
3月前
|
分布式计算
大数据
Apache
利用.NET进行大数据处理：Apache Spark与.NET for Apache Spark
【10月更文挑战第15天】随着大数据成为企业决策和技术创新的关键驱动力，Apache Spark作为高效的大数据处理引擎，广受青睐。然而，.NET开发者面临使用Spark的门槛。本文介绍.NET for Apache Spark，展示如何通过C#和F#等.NET语言，结合Spark的强大功能进行大数据处理，简化开发流程并提升效率。示例代码演示了读取CSV文件及统计分析的基本操作，突显了.NET for Apache Spark的易用性和强大功能。
92
1
1
|
3月前
|
存储
缓存
分布式计算
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
大数据-89 Spark 集群 RDD 编程-高阶 编写代码、RDD依赖关系、RDD持久化/缓存
60
4
4
|
3月前
|
消息中间件
存储
缓存
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
大数据-71 Kafka 高级特性 物理存储 磁盘存储特性 如零拷贝、页缓存、mmp、sendfile
91
3
3
|
3月前
|
SQL
消息中间件
大数据
热门文章
最新文章
1
阿里封神谈hadoop生态学习之路
2
分布式快照算法: Chandy-Lamport
3
现代流式计算的基石：Google DataFlow
4
JindoFS: 云上大数据的高性能数据湖存储方案
5
JindoFS解析 - 云上大数据高性能数据湖存储方案
6
HIVE MapJoin异常问题处理总结
7
首次揭秘|为6.4亿人次出行提供无线网络的技术架构
8
JindoFS概述：云原生的大数据计算存储分离方案
9
在 Apache Spark 中利用 HyperLogLog 函数实现高级分析
10
钉钉群直播【Spark Relational Cache 原理和实践】
1
打造无缝社交体验：多平台适配，开启线上线下陪玩系统小程序社交新时代
13
2
阿里云 EMR 发布托管弹性伸缩功能，支持自动调整集群大小，最高降本60%
48
3
关于商品详情 API 接口 JSON 格式返回数据解析的示例
81
4
EMR管控平台全面升级：智能化助力客户实现在离线混部和降本增效
36
5
拍立淘API是基于图像识别技术的服务接口，支持淘宝、1688和义乌购平台。
75
6
有奖实践，基于EMR StarRocks实现游戏玩家画像和行为分析
94
7
基于OpenLake的Flink+Paimon+EMR StarRocks流式湖仓分析
580
8
【赵渝强老师】部署Hadoop的本地模式
75
9
EMR Serverless Spark：一站式全托管湖仓分析利器
219
10
降本60% ，阿里云 EMR StarRocks 全新发布存算分离版本
467